DEEPFG：用于学习图像压缩的细粒度可扩展编码（1）

摘要

可扩展的编码可以适应频道带宽变化，在当今复杂的网络环境中表现良好。但是，大多数现有的可扩展压缩方法面临两个挑战：降低压缩性能和不足的可扩展性。为了克服上述问题，本文提出了一个学习的细颗粒可扩展图像压缩框架，即DEEPFGS。具体来说，我们引入了一个功能分离主链，以将图像信息分为基本和可扩展的特征，然后通过信息重排策略通过通道重新分布特征通道。通过这种方式，我们可以通过一通编码生成一个连续可扩展的Bitstream。对于熵编码，我们设计了一个相互熵模型，以充分探索基本和可扩展特征之间的相关性。此外，我们重复使用解码器来降低参数和计算复杂性。实验表明，我们提出的DEEPFG在PSNR和MS-SSIM指标中都优于以前基于学习的可扩展图像压缩模型和传统的可扩展图像编解码器。

介绍

图像编码技术旨在删除图像中的冗余信息并压缩数十次。随着元视频的到来，生成和传输大量图像数据。因此，图像编码技术变得越来越重要。最近，基于学习的图像压缩已经迅速发展，并且最先进的模型，在PSNR和MS-SSIM方面已经完全超过了传统的编解码器。

然而，当我们将重点从追求性能转变为实际应用程序方案时，基于学习的图像压缩仍然缺乏重要功能的实现：可扩展的bitstream。如果Bitstream的子集还可以生成有用的表示形式，即解码器可以根据带宽选择性解码一部分。有一些作品试图实现学习的可扩展编码。例如，使用分层的编码结构使Botstream粗粒伸缩（Bitstream具有四个独立解码子集），但是由于使用了多个编解码器，推断过程很复杂，并且BITSTREAM的可伸缩性是有限。

基于RNN的方法可以通过多个迭代产生粗粒的可伸缩性比特流。但是，编码解码过程的复杂性太高，速率延伸性能低于基于CNN的方法。
为了实现细粒度可扩展的图像编码，本文提出了一个新型框架，即DeepFGS，可以提供一个高度灵活的bitstream，其中只有一个编码过程来覆盖整个比特率范围。这意味着即使在任何位置将骨截断截断，也可以将截断的Bitstream重建为完整的图像。我们可伸缩的Bitstream的生成需要以下步骤：首先，将图像分解为基本特征和可扩展的特征，并通过特征分离主链分解为可扩展的特征，并且从像素级到特征级别，这两个功能之间的冗余被消除。然后，信息重新排列策略重新分布了可扩展的特征，并确定通道之间的正向依赖性，而不是双向依赖性，以适应可扩展的解码过程。

这样，每个其他解码频道都会带来持续的质量增益。图1可视化DEEPFG的细粒可扩展编码的过程。如我们所见，可以在任何地方截断单个bitstream并以不同质量的水平进行解码。此外，为了减少熵估计过程中的误差，我们使用基本和可扩展特征的相互信息改进了熵模型。

实验结果表明，我们的模型具有出色的可扩展性，而Bitstream的每个子集都可以解码不同质量的图像。此外，我们模型的速率延伸性能优于以前的可扩展压缩方法。