论文笔记 Fast and Accurate Online Video Object Segmentation via Tracking Parts笔记

Fast and Accurate Online Video Object Segmentation via Tracking Parts笔记

综述：

接收到图像立刻进行分割程序。

首先，对于大形变、遮挡和混乱背景的情况利用基于部件的追踪方式。
然后，基于被追踪的部件边界框，构建一个区域兴趣分割网络去产生部件mask。
最后，构建一个相似性评分函数，通过与第一帧的信息做对比去细化目标部件。

难点：
相机运动、对象形变、遮挡和混乱的背景。特别地，对于在线应用来说，当方法被要求在未能访问未来帧时也能robust and fast，会产生显著不同的问题。

目标：
在没有访问未来帧的情况下快速的分割目前的第一帧。

现有方法可分为无监督学习和半监督学习：

无监督学习：在无先验信息时对运动对象进行分割，如initial object masks。缺点是不能分割多对象。也有一些要求知道整个视频的信息才能进行分割，不能应用于在线应用。

半监督学习：给出了一个初始对象mask，它提供了目标的关键视觉线索，可实现
多对象分割，通常比无监督学习表现更好。然而，许多最先进的半监督方法在很大程度上依赖于第一帧中的分段mask，目前最先进的算法需要对每个视频的网络或每个目标的模型进行微调，这需要十分钟以上的时间。另外，数据准备（例如，光流生成）和训练数据增加需要额外的处理时间。因此，这些方法不能用于时间敏感的在线应用，