TPAMI 2024 | 面向低比特率视频理解的编码框架及基准

题目：A Coding Framework and Benchmark Towards Low-Bitrate Video Understanding

面向低比特率视频理解的编码框架及基准

作者：Yuan Tian; Guo Lu; Yichao Yan; Guangtao Zhai; Li Chen; Zhiyong Gao

---

摘要

视频压缩对于大多数视频分析系统来说是必不可少的。虽然它节省了传输带宽但它也恶化了下游的视频理解任务，特别是在低比特率的设置中。为了系统地研究这个问题，我们首先彻底回顾了以前的方法，揭示了三个原则，即任务解耦、无标签和数据生成的语义先验，对于一个对机器友好的编码框架至关重要，但到目前为止还没有完全满足。在本文中，我们提出了一个传统神经混合编码框架，同时满足所有这些原则，通过利用传统编解码器和神经网络（NN）的优势。一方面，传统编解码器可以高效地编码视频的像素信号，但可能扭曲语义信息。另一方面，高度非线性的NN擅长将视频语义压缩成紧凑的表示。该框架通过确保视频的传输高效的语义表示相对于编码过程被保留下来，并且是以自监督的方式从无标签数据中自发学习的ÿ