视频目标分割数据集DAVIS(Denly-Annotated VIdeo Segmentation)解读

 

  DAVIS(Densely-Annotated VIdeo Segmentation)数据集是视频目标分割(VOS)任务中最重要的数据集之一。从2017年开始，DAVIS官方团队每年都会举办“DAVIS Challenge on Video Object Segmentation”竞赛且发表相关的主题论文，目前为止共有三个版本的公开数据集：DAVIS 2016, DAVIS 2017以及DAVIS 2017 Unsupervised。

  DAVIS 2016是面向目标级分割的VOS数据集，它的标注都是只区分前后景的二元标注(binary annotation)；DAVIS 2017是面向实例级分割的VOS数据集，它比DAVIS 2016具有更多的视频图片序列和帧数量，且在每个视频内可能出现多个目标，每个目标都作为单独的个体被标注区分开来。Semi-supervised track是第一届DAVIS竞赛就有的赛道，它与在2018年，DAVIS官方团队通过论文提出了Interactive Segmentation的概念，并在竞赛中增加了这一方向的竞赛赛道。Interactive Segmentation是指通过实时地、反馈式地输入人工涂鸦级监督来逐渐校正VOS算法结果中表现较差的部分。在2019年，DAVIS 2017 Unsupervised数据集被提出，这是一个针对无监督视频目标分割的数据集。DAVIS 2017 Unsupervised在原始的2017版本之上重新标注了分割标签，使得分割标注的语义关联更为一致，并且避免了原有数据集对semi-supervised segmentation的偏好性。

   如上图所示，可以看到DAVIS 2016具有train, val，两个split共3455张目标级分割标注的图片；DAVIS 2017具有train, val, test-dev, test-challenge四个split，其中train和val具有实例级分割标注，test-dev和test-challenge不公开ground truth annotation,需要通过Evaluation Server评估性能。需要注意的是test-dev server会长时间处于可用状态，而test-challenge server只在竞赛期间开放，且每支参赛队伍限定次数提交。DAVIS 2017 Unsupervised的train和val含有初始版的相同序列，test-dev和test-challenge与初始版差别较大，四个split都进行了重新标注。

 

更多详细解读请参考DAVIS官方团队的论文总结：

[1] 2016年公开DAVIS 2016数据集与并提出VOS任务评估指标: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Perazzi_A_Benchmark_Dataset_CVPR_2016_pape

[2] 2017年公开DAVIS 2017数据集并加入实例级多目标分割标注：https://arxiv.org/pdf/1704.00675.pdf

[3] 2018年提出Interactive Segmentation任务与竞赛赛道：https://arxiv.org/pdf/1803.00557.pdf

[4] 2019年提出DAVIS 2017 Unsupervised数据集：https://arxiv.org/pdf/1905.00737.pdf