视频分割：Local Compressed Video Stream Learning for Generic Event Boundary Detection

论文作者：Libo Zhang,Xin Gu,Congcong Li,Tiejian Luo,Heng Fan

作者单位：University of Chinese Academy of Sciences;Institute of Software Chinese Academy of Sciences;Nanjing Institute of Software Technology;University of North Texas

论文链接：http://arxiv.org/abs/2309.15431v1

项目链接：https://github.com/GX77/LCVSL

内容简介：

1）方向：通用事件边界检测

2）应用：视频分割

3）背景：现有方法通常要求在将视频帧输入网络之前对其进行解码，这导致了显著的时空冗余，需要大量的计算资源和存储空间。

4）方法：本文提出了一种新的压缩视频表示学习方法，用于事件边界检测，充分利用了压缩域中的丰富信息，包括RGB、运动矢量、残差以及GOP（群组图像）结构，而无需完全解码视频。具体地，研究使用轻量级的ConvNets提取GOP中的P帧的特征，并设计了空间通道注意模块（SCAM）以基于压缩信息对P帧的特征表示进行精炼，实现了双向信息流。为了学习适合于边界检测的表示，研究构建了每个候选帧的本地帧包，并使用长短时记忆（LSTM）模块来捕获时间关系。然后，在时间域内计算帧间差异和组相似性。此模块仅在一个局部窗口内应用，对于事件边界检测至关重要。最后，使用简单的分类器基于学习到的特征表示确定视频序列的事件边界。为了消除注释的歧义并加快训练过程，研究使用高斯核对地面实况事件边界进行预处理。

5）结果：在Kinetics-GEBD和TAPOS数据集上进行的大量实验证明，与先前的端到端方法相比，所提出的方法在相同速度下取得了显著的改进。该研究的代码可在https://github.com/GX77/LCVSL获取。