TPAMI 2024 | VNVC: 一种多功能神经视频编码框架，用于高效的人类-机器视觉

VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision

题目：VNVC: 一种多功能神经视频编码框架，用于高效的人类-机器视觉

作者：Xihua Sheng , Li Li, Dong Liu, and Houqiang Li

---

摘要

几乎所有的数字视频在传输前都被编码成紧凑的表示形式。这些紧凑的表示形式需要在显示给人类之前解码回像素，并且通常在机器视觉算法增强/分析之前也要解码回像素。直观地说，直接增强/分析编码表示而不是将它们解码成像素会更有效。因此，我们提出了一种多功能神经视频编码（VNVC）框架，旨在学习支持重建和直接增强/分析的紧凑表示，从而既适用于人类视觉也适用于机器视觉。我们的VNVC框架具有基于特征的压缩循环。在循环中，一帧被编码成紧凑的表示，并解码到中间特征，该特征在执行重建之前获得。中间特征可以用作运动补偿和运动估计的参考，通过基于特征的时序上下文挖掘和跨域运动编码器-解码器压缩后续帧。中间特征直接输入到视频重建、视频增强和视频分析网络中以评估其有效性。评估表明，