DAVIS(Densely-Annotated VIdeo Segmentation)数据集是视频目标分割(VOS)任务中最重要的数据集之一。从2017年开始,DAVIS官方团队每年都会举办“DAVIS Challenge on Video Object Segmentation”竞赛且发表相关的主题论文,目前为止共有三个版本的公开数据集:DAVIS 2016, DAVIS 2017以及DAVIS 2017 Unsupervised。
DAVIS 2016是面向目标级分割的VOS数据集,它的标注都是只区分前后景的二元标注(binary annotation);DAVIS 2017是面向实例级分割的VOS数据集,它比DAVIS 2016具有更多的视频图片序列和帧数量,且在每个视频内可能出现多个目标,每个目标都作为单独的个体被标注区分开来。Semi-supervised track是第一届DAVIS竞赛就有的赛道,它与在2018年,DAVIS官方团队通过论文提出了Interactive Segmentation的概念,并在竞赛中增加了这一方向的竞赛赛道。Interactive Segmentation是指通过实时地、反馈式地输入人工涂鸦级监督来逐渐校正VOS算法结果中表现较差的部分。在2019年,DAVIS 2017 Unsupervised数据集被提出,这是一个针对无监督视频目标分割的数据集。DAVIS 2017 Unsupervised在原始的2017版本之上重新标注了分割标签,使得分割标注的语义关联更为一致,并且避免了原有数据集对semi-supervised segmentation的偏好性。
如上图所示,可以看到DAVIS 2016具有train, val,两个split共3455张目标级分割标注的图片;DAVIS 2017具有train, val, test-dev, test-challenge四个split,其中train和val具有实例级分割标注,test-dev和test-challenge不公开ground truth annotation,需要通过Evaluation Server评估性能。需要注意的是test-dev server会长时间处于可用状态,而test-challenge server只在竞赛期间开放,且每支参赛队伍限定次数提交。DAVIS 2017 Unsupervised的train和val含有初始版的相同序列,test-dev和test-challenge与初始版差别较大,四个split都进行了重新标注。
更多详细解读请参考DAVIS官方团队的论文总结:
[1] 2016年公开DAVIS 2016数据集与并提出VOS任务评估指标: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Perazzi_A_Benchmark_Dataset_CVPR_2016_pape
[2] 2017年公开DAVIS 2017数据集并加入实例级多目标分割标注:https://arxiv.org/pdf/1704.00675.pdf
[3] 2018年提出Interactive Segmentation任务与竞赛赛道:https://arxiv.org/pdf/1803.00557.pdf
[4] 2019年提出DAVIS 2017 Unsupervised数据集:https://arxiv.org/pdf/1905.00737.pdf