2019年的文章
主要贡献
前面的引言就不读了,说一说主要贡献
1我们提出了一种轻量级信息多重蒸馏网络(IMDN),用于快速准确的图像超分辨率。 得益于我们的信息多重蒸馏块 (IMDB) 和对比感知注意 (CCA) 层,我们通过适度数量的参数获得了有竞争力的结果(参见图 6)
2我们提出了自适应裁剪策略(ACS),它允许网络包含下采样操作(例如步幅为 2 的卷积层)来处理任意大小的图像。 采用该方案,在处理不定倍率SR的情况下,计算成本、内存占用和推理时间都可以大大减少。
3我们通过实验探索影响实际推理时间的因素,发现网络深度与执行速度有关。 它可以作为指导轻量级网络设计的指南。 我们的模型在视觉质量、推理速度和内存占用之间实现了出色的平衡。
网络架构
1*1卷积组装所有中间特征进行融合,这种方案,即中间信息收集(IIC),有利于保证所收集信息的完整性,并且可以通过增加很少的参数来进一步提高SR性能。橙色代表Leaky ReLU,64是该层的输出通道
这是最终的上采样器,由一个可学习的卷积层和非参数操作(子像素卷积)组成。
IMDB
信息多重蒸馏块 (IMDB) 由渐进细化模块(PRM)、对比感知通道注意 (CCA) 层和用于减少特征通道数量的 1 × 1 卷积构成。 整个块采用残差连接。 该块的主要思想是像 DenseNet 一样一点点地提取有用的特征。
渐进细化模块 (PRM) 首先采用 3 × 3 卷积层来提取输入特征,以用于后续的多个蒸馏(细化)步骤。 对于每个步骤,对前面的特征进行通道分割操作,这将产生两部分特征。 一部分被保留,另一部分被输入到下一个计算单元。 保留的部分可以看作是细化的特征。用公式表示PRM计算过程
CL是带有Leaky ReLU的3*3卷积,Split是通道拆分,四个卷积层的参数如下表:
PRM的最终输出需要将每一个卷积层的细化特征concat,输出通道是64
CCA
下图是CCA模块,对比度感知通道注意力模块
作者摒弃了前人常用的全局平均/最大池化,提出了 全局对比度信息评估函数,具体来说,用标准差和平均值的总和代替全局平均池化(评估特征图的对比度)。比如有C个H*W的特征图,计算公式很复杂,属于看不懂或者看懂了也记不住的类型,需要读源者看Pytorch有没有API可以调用,
ACS
自适应裁剪策略Adaptive cropping strategy专门针对任意尺寸的超分辨率图像。 同时,它还可以用单个模型处理任意比例因子的SR问题(见图5)。 我们通过引入两个下采样层对原始 IMDN 进行了轻微修改,并构建了当前的 IMDN_AS(适用于任何尺度的 IMDN)。 这里,LR 和 HR 图像具有相同的空间尺寸(高度和宽度)。 为了处理高度和宽度不能被 4 整除的图像,我们首先将整个图像切成 4 部分,然后将它们输入到我们的 IMDN_AS 中。 如图4所示,我们可以通过ACS获得4个重叠的图像块。
这四个patch可以并行处理(它们具有相同的大小),之后将输出粘贴到其原始位置,并丢弃额外的增量(ΔlH 和 ΔlW)。
消融实验
不加CCA和IIC的网络命名为IMDN_basic_B4,
为了研究IMDB中PRM的效率,我们用三个级联的3×3卷积层(64个通道)替换它,并删除最后的1×1卷积(用于融合)。 比较结果如表 2 所示。尽管该网络具有更多参数(510K),但其性能远低于我们的 IMDN_basic_B4(480K),尤其是在 Urban100 和 Manga109 数据集上。
总的来说,这个PRM和CCA是可以作为改进值得我们学习的,还有ACS也可以学习一下。下图是应用了ACS的IMDN与VDSR作对比