论文学习1《Fast Online Object Tracking and Segmentation- A Unifying Approach》

论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》

主要目标

为目标跟踪算法增加目标分割功能。实现过程主要是在以孪生网络（Siamese）为基础的跟踪网络中增加Mask分支。

摘要

提出一个能完成目标跟踪和目标分割的实时方法，称为SiamMask。训练好之后，网络只需一个初始化的框框出目标位置，就可以给出目标跟踪信息和与类无关的掩码。尽管方法简单，但提高了速度，增加了功能。

引言

略

网络结构

作者在SiamFC和SiamRPN基础上分别加上目标分割分支网络，形成两分支和三分支的SiamMask网络。
左边是共享权值的孪生网络，在对模板（上分支网络）和搜索区域（下分支网络输入）特征提取后，进行卷积生成RoW（响应图，可以说明与模板最相似的区域）。
右边是三个分支网络。目标分割网络，边框回归网络，前背景分类网络。分割网络只对score最高的box进行分割。

损失函数

3.1 mask分支的损失函数

#$
$n$:n个Row
$y_n$:Row的标签，在训练的时候只使用为1的Row
$c_n^{ij}$:第n个Row中像素（i,j)对应的掩码标签。
$m_n^{ij}$:分割网络预测结果

3.2 SiamMask网络总损失函数

多个分支网络损失加权求和

实验结果

4.1 VOT-2016结果

4.2 DAVIS-2016上速度比较

分割网络结构

5.1 网络

下面两行是孪生网络进行特征提取，选择score最高的区域框来分割。经过反卷积并结合高级特征得到目标分割掩码。图中U₂,U₃,U₄是掩码改良模块。

5.2 改良模块