视频物体分割

视频分割（文章列表）
Learning to Segment Instances in Videos with Spatial Propagation Network CVPRW2017
http://bbs.cvmart.net/topics/753/1?order_by=vote_count&

视频语义分割（Video semantic segmentation）调研（2017年及之前）
https://blog.csdn.net/hit_cuijian/article/details/79941882

Video Object Segmentation 列表
https://github.com/ArcherFMY/Paper_Reading_List/blob/master/Video-02-Video-Object-Segmentation.md

视频物体分割结果是进行内容二次创作的重要素材。例如目前火爆的「裸眼 3D 视频」，基于视频中主要物体与观众之间的距离，利用蒙皮遮挡的变化产生 3D 效果。其核心点是将前景物体从视频中分割出来，这部分会花费创作者 99% 以上的时间。

阿里文娱摩酷实验室

半监督视频物体分割，又称为单一样本视频物体分割 (one-shot video object segmentation, 简称 OSVOS)。在半监督视频物体分割中，给定用户感兴趣物体在视频第一帧图片上的分割区域，算法来获取在后续帧上的物体分割区域。物体可以是一个，也可以是多个。

目前半监督视频物体分割算法分为两大类：有在线学习、无在线学习。

Davis 和 Youtube VOS 竞赛今年第一次出现无监督赛道。

目前很多半监督视频物体分割算法在学术上有很好的创新，但是实用中效果不佳。
交互式视频物体分割更是没有开源代码。

阿里文娱摩酷实验室从 2019 年 3 月底开始从事半监督和交互式视频物体分割算法的研究。
我们提出的 VOS with robust tracking 策略——Robust Multiple Object Mask Propagation with Efficient Object Tracking
https://www.jiqizhixin.com/articles/2019-07-31-7

视频目标检测任务中的挑战
具体的挑战分为以下五类：
(a). 运动模糊
(b). 虚焦
(c). 遮挡
(d). 外观变化
(e). 尺度变化

检测和跟踪结合的视频目标检测算法
保持目标时空一致性的一个直接的思路就是，对目标进行跟踪，在视频中跟踪检测出来的目标。代表工作是T-CNN

利用运动信息的视频目标检测算法
目前使用的比较多的运动信息是光流。
（1）Flow-Guided Feature Aggregation
（2）Association LSTM
（3）Aligned Spatial-Temporal Memory
（4）MANet
https://zhuanlan.zhihu.com/p/67608224

2019-CVPR-RVOS: End-to-End Recurrent Network for Video Object Segmentation

视频分割在移动端的算法进展综述

2019-CVPR-RVOS: End-to-End Recurrent Network for Video Object Segmentation
泰罗尼亚开放大学

one-shot VOS既普通的DAVIS任务，给定初始化帧的mask和图像序列,预测视频序列的mask。
对于zero-shot VOS任务，输入仅为RGB图像。zero-shot VOS从视频序列中分割没有任何先验知识的目标，模型必须检测和分割出现在视频中的目标。

YouTube-VOS和DAVIS是为one-shot VOS设计，在视频序列中会出现初始化帧没有的对象且没有标注信息，给 zero-shot VOS带来很大的困难。

论文是在每帧图像中分割10个对象目标，期望5属于预测对象。

优缺点分析：
1、多目标实体分割的性能依赖于分割实体的数目。

2、RNN虽然处理时序可空间具有明显优势，ConvLSTM也可用于处理图像，但是对存储空间的依靠高，推断时间上不易达到实时性的需求。

3、个人认为zero-shot VOS已经脱离了VOS范畴，可以视频分解为序列图形，单独在每个图像上做实体分割，在进行图像之间的匹配。
https://zhuanlan.zhihu.com/p/60621619
主页
https://imatge-upc.github.io/rvos/
代码
https://github.com/imatge-upc/rvos

2018-CVPR-韩国延世大学-Fast Video Object Segmentation by Reference-Guided Mask Propagation

RGMP

Pytorch 0.3.1
https://github.com/seoungwugoh/RGMP

半监督视频对象分割

与其他方法相比，我们的方法在运行时间很短的情况下实现了与最先进的方法相比的准确性。

给定一个带有对象掩码的参考帧，我们方法的目标是从整个视频序列中自动分割目标对象。

我们的方法的关键思想是将参考帧和注释以及当前帧与先前的掩模估计一起暴露给深度网络，以便网络通过匹配参考帧的外观来检测目标对象，并且还通过追踪前一帧掩膜在当前帧的位置。

DAVIS-2017[33,31]是用于视频对象分割的最大的公共基准数据集，并提供由60个视频组成的训练集。
https://blog.csdn.net/qq_16761599/article/details/80772579