VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision
题目:VNVC: 一种多功能神经视频编码框架,用于高效的人类-机器视觉
作者:Xihua Sheng , Li Li, Dong Liu, and Houqiang Li
摘要
几乎所有的数字视频在传输前都被编码成紧凑的表示形式。这些紧凑的表示形式需要在显示给人类之前解码回像素,并且通常在机器视觉算法增强/分析之前也要解码回像素。直观地说,直接增强/分析编码表示而不是将它们解码成像素会更有效。因此,我们提出了一种多功能神经视频编码(VNVC)框架,旨在学习支持重建和直接增强/分析的紧凑表示,从而既适用于人类视觉也适用于机器视觉。我们的VNVC框架具有基于特征的压缩循环。在循环中,一帧被编码成紧凑的表示,并解码到中间特征,该特征在执行重建之前获得。中间特征可以用作运动补偿和运动估计的参考,通过基于特征的时序上下文挖掘和跨域运动编码器-解码器压缩后续帧。中间特征直接输入到视频重建、视频增强和视频分析网络中以评估其有效性。评估表明,