CoVOS：无需解码！利用压缩视频比特流的运动矢量和残差进行半监督的VOS加速（CVPR 2022）...

关注公众号，发现CV技术之美

本篇分享 CVPR 2022 论文『Accelerating Video Object Segmentation with Compressed Video』，探讨了如何利用视频压缩来加速视频实例分割（Video Object Segmentation，VOS），以适用于网络中压缩格式视频的高速分割。

详细信息如下：

• 论文链接：https://arxiv.org/pdf/2107.12192.pdf

• 项目链接：https://github.com/kai422/CoVOS

      01      

前言

目前普通的方法基本上都是对普通视频中逐帧对每个实例进行解码，计算复杂度较高。

为了解决这个问题，作者提出了一种嵌入式加速框架，可以直接应用于现有的VOS模型上，具体的，本文先将视频按现有压缩方法（比如HEVC）压缩为P帧、I帧、B帧，再提出一种基于运动向量（ motion vector ）的方法，基于双向传播以及多帧连接实现mask