记录分割：分割精度和实时性取得平衡的FEELVOS和SiamMask。

最新推荐文章于 2021-12-12 11:50:19 发布

业精于勤荒于嬉-行成于思而毁于随

最新推荐文章于 2021-12-12 11:50:19 发布

阅读量1.6k

点赞数 1

分类专栏：论文学习

本文链接：https://blog.csdn.net/m0_37644085/article/details/88866087

版权

这种视频里目标的像素级标注，很有用，比如给视频叠加特效可以不覆盖目标人物，或者视频编辑中扣掉特定目标。比如让某能让人谈坐牢恋爱的某吴姓大叔从节目中消失就轻松多了。心疼扣了三天三夜的工作人员。

Fast Online Object Tracking and Segmentation: A Unifying Approach

【论文地址。】【Github项目地址。】

以往大多数目标跟踪得到的结果是目标的包围框，而作者希望将跟踪与分割结合起来，算法“实时“给出目标的像素级标注。Siammask在视频跟踪领域（VOT），VOT2016和VOT2018数据集上的性能，我们的方法已经到达到SOTA的结果，同时保持了56fps的超实时的性能表现。Siammask在视频目标分割领域（VOS）， DAVIS2017和Youtube-VOS数据集精度表现尚可，但是实时性提高1-2个数量级，56fps的处理速度可以满足移动终端的需求。

两个分支共享同一个backbone，分别得到15*15*256和31*31*256的特征图，再经过 （depth-wise卷积）得到17*17*256特征图。Mask分支是在Siamese Net新增，使用的表述方法是利用一个vector来编码一个RoW（response of a candidate window，候选窗口响应）的mask。这使得每个prediction位置具有非常高的输出维度（63*63）,论文通过depthwise的卷积后级联1x1卷积来升维来实现高效运行。

算法流程。左侧上面图像为框出来的目标图像，左侧下面图像为要搜索目标位置的视频中的一帧，经过卷积网络，生成Row（response of a candidate window，候选窗口响应），网络后面有三个head，除了在SiamFC法中已经存在的预测box（目标位置）的head和预测响应scor