关于深度图像压缩方法中的位可变问题的探讨

在基于深度自编码网络的图像压缩方法中，有一个关于位分配的问题，即对于人眼视觉更关注的区域分配更多的比特位，其他区域分配少一点的比特位，之前的深度学习图像压缩模型对于整个图像区域的内容都是位不变的分配方式，即对整个图像内容同等对待，都分配同样的比特位，但是[1]提出了重要性图(importance map)的模块用于指导内容的位可变分配，简单来说就是实现内容的自适应；除此之外，还有另一种由显著性图(salient map)实现的类似的方式，但又与重要性图不同，具体的方式如下：

方式一：重要性图(Importance Map)

重要性图是基于编码后的特征图(encoded_features)的信息而生成的一个单通道的特征图，宽和高与编码后的特征图相同，其中重要性图的一种网络结构如下图所示：

通常的ImportanceMapNet在得到y后是直接使用sigmoid函数，此处[2]增加了一个归一化的操作，使重要性图自适应于内容的分布。

获取了importance map后，有一个Extension的操作，这一操作是获取掩码mask，掩码的数据维度与编码后的特征图相同，Extension操作如下所示：

 其中k代表通道，k=0,1,2...,C-1，i，j表示相应通道的空间位置， 表示掩码mask相应位置的值， 是importance map在空间位置i，j处的值；其中importance map的数值范围需要先映射至[0，k]，与通道数相关联；

由Extension变换后便得到掩码mask，mask再与encoded_features进行element-wise multiplication，即可得到masked_features，随后对masked_features进行量化，熵编码等处理；

方式二：显著性图(Salient Map)

与importance map不同的是，显著性图是由单独的显著性检测模型对输入图像处理得到单通道的显著性图，显著性图是一个二值化的图像。显著性图同样采用Extension的变换方式获取掩码mask，然后对encoded_features进行同样的操作，得到masked_features，但是显著性图mask处理的结果与importance map的有些不同；

以Kodak数据集的kodim15.png为例说明：

其中左侧16个通道为显著性图处理的结果，右侧为重要性图处理的结果，这两种方式处理的结果bpp基本相同，其中显著性图方式的bpp略微小于重要性图方式；

总结

相同点：突出重要性信息，去除空间信息冗余； 

不同点：im_map在去除冗余通道时，是完全去除通道信息；而sa_map则只是去除部分通道非显著性区域信息，仍保留显著性区域的信息，正如masked_features展示的那样，更突出了并保留了显著性区域的信息，有利于恢复更好的细节；

参考文献

1. Li M , Zuo W , Gu S , et al. Learning Convolutional Networks for Content-weighted Image Compression[C], CVPR，2018.

2. Lirong Wu, Kejie Huang, Haibin Shen. A GAN-based Tunable Image Compression System, arxiv:2001.06580.