【论文系列】CVPR-2018/ Object-flow：利用超像素&像素的multi-level模型与光流结合的视频分割

未经允许，不得转载

这次带来精读论文 《Video Segmentation via Object Flow》，发表于CVPR 2016  -- UCmerced 黄明轩组（视频&DL&图像相关工作很多）此文我们沿着写作思路来解读论文。

• 作者在之后的ICCV/CVPR也有后续的改进工作。光流、目标分割（视频前景分割）任务之间本来就暗含联系，作者以构建类似CRF能力函数的图模型为基础，囊括在像素和超像素级别的前景物体清晰边缘并借助两帧之间的光流填充帧间的时间连续性，保证前景物体的帧间传递，以在视频序列中得到有效的时间连续，边界清晰的前景分割结果。并不断迭代更新光流和目标分割任务，以获取更细腻的前景边缘信息。
• 作者提供本文代码见此→代码。

目录

ABSTRACT

1 Introduction

3 Method

3.1 Method- Part1--Object segmentation

3.1.1 object location

3.1.2 graph model(基于像素)

3.1.3 multi-level model （拓展至超像素）

3.2 Method-part2 --optical flow

3.3 Method-Combination 

4.Experiment

---

我们首先来看摘要

ABSTRACT

Video object segmentation is challenging due to fast moving objects, deforming shapes, and cluttered backgrounds. Optical flow can be used to propagate an object segmentation over time but, unfortunately, flow is often inaccurate, particularly around object boundaries. （想解决的问题）Such boundaries are precisely where we want our segmentation to be accurate. To obtain accurate segmentation across time, we propose an efficient algorithm that considers video segmentation and optical flow estimation simultaneously. （main idea）For video segmentation, we formulate a principled, multi-scale, spatio-temporal objective function that uses optical flow to propagate information between frames. For optical flow estimation, particularly at object boundaries, we compute the flow independently in the segmented regions and recompose the results. We call the process object flow and demonstrate the effectiveness of jointly optimizing optical flow and video segmentation using an iterative scheme. （实现方法）Experiments on the SegTrack v2 and Youtube Objects datasets show that the proposed algorithm performs favorably against the other state-of-the-art methods.（实验效果）

----------------------------------------

视频分割——也就是视频中的前景物体分割，对于快速移动或形状不规则的前景物体和杂乱背景下的效果不好。

而光流估计的精度也是一直未解决的难题，尤其在物体边界的光流估计精度。

光流估计的结果，是类目标或者目标形式展现出来的，这正可以提供给视频分割作为反馈信息，而有了清晰的物体边界，光流估计可以利用这些边界信息得到更精确地结果。基于这一个idea，作者选择结合光流和视频分割任务，而达到在这两个任务上互惠互利后的更好的结果。而操作过程中，使用了迭代机制，计算某一任务的结果后反馈到下一任务中，以此往复。下图展示了一个大致的结果。

Figure 1. Object flow. (a)-(b) two consecutive frames. (c) optical flow computed from frame t − 1 to t. (d) optical flow that is updated using the segmentation marked by the red contour. The motions within the object are more consistent and the motion  boundaries are more precise compared with the initial flow.

 

---

1 Introduction

接下来是引文部分。按照：定义→critical 解决关键→主流方法分类→相关类别方法不足→相关技术及现有方法不足→本方法最大contribution解决的问题→proposed method→contribution 介绍

• 问题定义：视频分割的目的就是在于如何分割视频中的前后景。

• 解决关键：在于如何利用时间上集成的信息来维持分割的时间一致性

• 主流方法分类：目前的做法有三种，

1. 一种是追踪，追踪像素、超像素、物体
2. 一种是基于图模型 传递整个前景区域
3. 一种是利于目标级别的分割结果保持时间一致性

• 相关类别方法不足：对于第三种方法，因为只考虑到了物体级别， 所以没有好的像素级别结果，没有精确的物体边界。
• 相关技术及现有方法不足：视频分割之中，光流是一个常用的手段，比如在第二种方法里，光流被用来在pairwise potentials（配对势？）的公式中，保留帧间分割一致性。但是光流也有问题，光流在大的位移和有遮挡的时候效果不好。 现在解决的办法就是利用分割图像和边缘提取来保存目标边界附近的运动细节。
• 本方法最大contribution解决的问题：