《Deep Contextual Video Compression》论文阅读

端到端的视频压缩–《Deep Contextual Video Compression》

---

---

论文地址：https://proceedings.neurips.cc/paper_files/paper/2021/file/96b250a90d3cf0868c83f8c965142d2a-Paper.pdf
代码：https://github.com/microsoft/DCVC/tree/main/DCVC

摘要

现有的神经视频压缩方法大多采用预测编码框架，首先生成预测帧，然后用当前帧对其残差进行编码。然而，就压缩率而言，预测编码只是次优解决方案，因为它使用简单的减法运算来消除帧间的冗余。在本文中，我们提出了一种深度上下文视频压缩框架，以实现从预测编码到条件编码的范式转变。特别是，我们尝试回答以下问题：如何在深度视频压缩框架下定义、使用和学习条件。为了挖掘条件编码的潜力，我们建议使用特征域上下文作为条件。这使我们能够利用高维上下文向编码器和解码器携带丰富的信息，这有助于重建高频内容以获得更高的视频质量。我们的框架也是可扩展的，可以灵活设计条件。实验表明，我们的方法可以显着优于以前最先进的（SOTA）深度视频压缩方法。与使用veryslow预设的x265相比，我们可以为1080P标准测试视频实现26.0%的比特率节省。

---

一、简介

主要介绍了基于预测编码的传统视频压缩方法，以及当前基于深度学习的压缩方法。

1. 传统视频压缩：介绍了从1988年的H.261到2020年的H.266，所有传统视频编码标准都基于预测编码框架，即先生成预测帧，然后对当前帧与预测帧的残差进行编码。
2. 基于深度学习的视频压缩：指出许多基于深度学习的视频压缩方法也采用预测编码框架，只是将手工模块替换为神经网络。
3. 残差编码的局限性：强调了残差编码不是最优的编码方法，因为它仅使用简单的减法运算来消除帧间的冗余，而条件编码具有更低的熵下界。指出传统编码器无法利用所有参考帧中的像素相关性，而深度学习提供了自动探索相关性的可能性。
4. 提出基于条件编码的框架：提出本文旨在从预测编码转向条件编码，以实现更高效的压缩。

文章的主要贡献为：文章通过在多个标准测试视频上的比较，证明了提出的基于条件编码的框架相比现有方法可以实现更低的比特率，最高可节省26%。

1. 设计了基于条件编码的深度视频压缩框架，其定义、使用和学习方式均具有创新性，可以超越之前的