论文作者:Libo Zhang,Xin Gu,Congcong Li,Tiejian Luo,Heng Fan
作者单位:University of Chinese Academy of Sciences;Institute of Software Chinese Academy of Sciences;Nanjing Institute of Software Technology;University of North Texas
论文链接:http://arxiv.org/abs/2309.15431v1
项目链接:https://github.com/GX77/LCVSL
内容简介:
1)方向:通用事件边界检测
2)应用:视频分割
3)背景:现有方法通常要求在将视频帧输入网络之前对其进行解码,这导致了显著的时空冗余,需要大量的计算资源和存储空间。
4)方法:本文提出了一种新的压缩视频表示学习方法,用于事件边界检测,充分利用了压缩域中的丰富信息,包括RGB、运动矢量、残差以及GOP(群组图像)结构,而无需完全解码视频。具体地,研究使用轻量级的ConvNets提取GOP中的P帧的特征,并设计了空间通道注意模块(SCAM)以基于压缩信息对P帧的特征表示进行精炼,实现了双向信息流。为了学习适合于边界检测的表示,研究构建了每个候选帧的本地帧包,并使用长短时记忆(LSTM)模块来捕获时间关系。然后,在时间域内计算帧间差异和组相似性。此模块仅在一个局部窗口内应用,对于事件边界检测至关重要。最后,使用简单的分类器基于学习到的特征表示确定视频序列的事件边界。为了消除注释的歧义并加快训练过程,研究使用高斯核对地面实况事件边界进行预处理。
5)结果:在Kinetics-GEBD和TAPOS数据集上进行的大量实验证明,与先前的端到端方法相比,所提出的方法在相同速度下取得了显著的改进。该研究的代码可在https://github.com/GX77/LCVSL获取。