IMDN阅读

2019年的文章

主要贡献

前面的引言就不读了，说一说主要贡献

1我们提出了一种轻量级信息多重蒸馏网络（IMDN），用于快速准确的图像超分辨率。 得益于我们的信息多重蒸馏块 (IMDB) 和对比感知注意 (CCA) 层，我们通过适度数量的参数获得了有竞争力的结果（参见图 6）

2我们提出了自适应裁剪策略（ACS），它允许网络包含下采样操作（例如步幅为 2 的卷积层）来处理任意大小的图像。 采用该方案，在处理不定倍率SR的情况下，计算成本、内存占用和推理时间都可以大大减少。

3我们通过实验探索影响实际推理时间的因素，发现网络深度与执行速度有关。 它可以作为指导轻量级网络设计的指南。 我们的模型在视觉质量、推理速度和内存占用之间实现了出色的平衡。

网络架构

1*1卷积组装所有中间特征进行融合，这种方案，即中间信息收集(IIC)，有利于保证所收集信息的完整性，并且可以通过增加很少的参数来进一步提高SR性能。橙色代表Leaky ReLU，64是该层的输出通道 

这是最终的上采样器，由一个可学习的卷积层和非参数操作（子像素卷积）组成。 

IMDB

信息多重蒸馏块 (IMDB) 由渐进细化模块（PRM）、对比感知通道注意 (CCA) 层和用于减少特征通道数量的 1 × 1 卷积构成。 整个块采用残差连接。 该块的主要思想是像 DenseNet  一样一点点地提取有用的特征。 

渐进细化模块 (PRM) 首先采用 3 × 3 卷积层来提取输入特征，以用于后续的多个蒸馏（细化）步骤。 对于每个步骤，对前面的特征进行通道分割操作，这将产生两部分特征。 一部分被保留，另一部分被输入到下一个计算单元。 保留的部分可以看作是细化的特征。用公式表示PRM计算过程

 CL是带有Leaky ReLU的3*3卷积，Split是通道拆分，四个卷积层的参数如下表：

PRM的最终输出需要将每一个卷积层的细化特征concat，输出通道是64 

CCA 

 下图是CCA模块，对比度感知通道注意力模块

作者摒弃了前人常用的全局平均/最大池化，提出了 全局对比度信息评估函数，具体来说，用标准差和平均值的总和代替全局平均池化（评估特征图的对比度）。比如有C个H*W的特征图，计算公式很复杂，属于看不懂或者看懂了也记不住的类型，需要读源者看Pytorch有没有API可以调用，

ACS 

自适应裁剪策略Adaptive cropping strategy专门针对任意尺寸的超分辨率图像。 同时，它还可以用单个模型处理任意比例因子的SR问题（见图5）。 我们通过引入两个下采样层对原始 IMDN 进行了轻微修改，并构建了当前的 IMDN_AS（适用于任何尺度的 IMDN）。 这里，LR 和 HR 图像具有相同的空间尺寸（高度和宽度）。 为了处理高度和宽度不能被 4 整除的图像，我们首先将整个图像切成 4 部分，然后将它们输入到我们的 IMDN_AS 中。 如图4所示，我们可以通过ACS获得4个重叠的图像块。

这四个patch可以并行处理（它们具有相同的大小），之后将输出粘贴到其原始位置，并丢弃额外的增量（ΔlH 和 ΔlW）。

消融实验

 不加CCA和IIC的网络命名为IMDN_basic_B4,

为了研究IMDB中PRM的效率，我们用三个级联的3×3卷积层（64个通道）替换它，并删除最后的1×1卷积（用于融合）。 比较结果如表 2 所示。尽管该网络具有更多参数（510K），但其性能远低于我们的 IMDN_basic_B4（480K），尤其是在 Urban100 和 Manga109 数据集上。

总的来说，这个PRM和CCA是可以作为改进值得我们学习的，还有ACS也可以学习一下。下图是应用了ACS的IMDN与VDSR作对比