ICCV2019｜Neural Inter-Frame Compression for Video Coding【论文阅读笔记】

作者

Abdelaziz Djelouah, Joaquim Campos, Simone Schaub-Meyer, Christopher Schroers

相关链接

• Paper:https://openaccess.thecvf.com/content_ICCV_2019/html/Djelouah_Neural_Inter-Frame_Compression_for_Video_Coding_ICCV_2019_paper.html
• Code:暂无

1.前言

这是2019年ICCV的一篇论文，是由迪士尼研究工作室和苏黎世联邦理工学院计算机系的的研究人员合作发表的。文中提出了一种基于深度学习的帧间视频压缩方法，其关键在于：通过将所需信息编码到潜空间然后直接解码为运动和混合系数这样一个过程提高解码效率和重建质量。
主观效果见下图：

2.介绍

近年来，深度学习越来越多被用在视频压缩编码领域。比如Wu等人提出的基于插帧的压缩策略，但是其光流还是用的传统方法来编码；Han等人提出的方法从变分推理的角度考虑视频压缩，但其仅限低分辨率视频。这些方法在运动补偿过程中，要么需要对码率进行复杂的空间适应，要么在解码端采用精细网络带来繁重的计算。
由此，文中提出了一种基于插值的视频压缩框架，这种框架可以兼容现有的神经图像压缩方法。其关键点在于：帧间压缩方法可以无缝构建于现有的神经图像自编码器上。文中算法包含两部分，插值和残差压缩。
（1）插值：将插值问题放在视频压缩的背景下构建，并将运动压缩和图像合成结合在一个单一网络
（2）残差压缩：直接在潜空间表示原始帧和插值帧之间的残差信息

3.方法

3.1 Interpolation with Compression Constraints

3.2 Latent Space Residuals

3.3 Balancing Side Information and Residuals

3.4 Network Architectures

4.实验

参考

[1] Neural Inter-Frame Compression for Video Coding 个人理解

码字不易，如果您觉得有帮助，欢迎点赞和收藏~~