ICLR2022系列解读之四：更有效的图像压缩概率模型Entroformer

本文解读我们ICLR2022上发表的论文《Entroformer: A Transformer-based Entropy Model for Learned Image Compression》。这篇文章针对图像压缩中的全局信息冗余，提出一种基于Transformer的概率模型：Entroformer。它使用Transformer中的Attention机制来实现全局相关性和局部相关性的联合学习。针对图像压缩任务，该方法提出了一种Top-k过滤机制和一种新的相对位置模块，使得该概率模型能够更有效地预测特征的概率分布。同时，该方法又将单向的串行上下文模型扩展到双向的并行上下文模型，来加速解码过程。该方法不仅得到了更优的压缩效果，同时保证了解压过程的高效性。

论文地址：http://arxiv.org/abs/2202.05492

开源代码：https://github.com/mx54039q/entroformer

一、前言

图像压缩是计算机视觉领域较为基础性的一个课题。随着近些年深度学习的发展，基于深度学习的图像压缩算法逐渐超越了传统方法，具有较大的研究价值。卷积神经网络（CNN）能够学习到更好的压缩特征表达，而且基于深度学习的概率模型也能够更好地估计压缩特征的概率。虽然基于CNN的方法有较强的局部相关性建模能力，但是建模全局相关性的能力较弱。图1展示了图像中的全局信息冗余。因此，在图像压缩中建模全局相关性能够进一步提升压缩性能。

图1 图像中的全局信息冗余

为了更好地提取图像中的全局冗余性，我们将Transformer的结构融合到图像压缩任务中来。Transformer的网络结构天然契合图像压缩任务，能够较好地学习特征的相关性。基于Transformer的基础结构，我们提出了针对图像压缩任务的改进点，来提升图像压缩的性