论文笔记：Residual Feature Distillation Network for Lightweight Image Super-Resolution

摘要

（1）受益于CNN强大的拟合能力，图像超分取得了极大的进展。尽管基于CNN的方法取得了极好的性能与视觉效果，但是这些模型难以部署到端侧设备(高计算量、高内存占用)。

（2）为解决上述问题，已有各种不同的快速而轻量型的CNN模型提出，IDN(Information Distillation Network, IDN)是其中的佼佼者，它采用通道分离的方式提取蒸馏特征。然而，我们并不是很清晰的知道这个操作是如何有益于高效SISR的。

（3）该文提出一种等价于通道分离操作的特征蒸馏连接操作(Feature Distillation Connection, FDC)，它更轻量且更灵活。基于FDC，作者对IMDN(Information Multi Distillation Network, IMDN)进行了重思考并提出了一种称之为RFDN(Residual Feature Distillation Network, RFDN)的轻量型图像超分模型，RFDN采用多个FDC学习更具判别能力的特征。与此同时，作者还提出一种浅层残差模块SRB(Shallow Residual Block, SRB)作为RFDB的构件模块，SRB即可得益于残差学习，又足够轻量。

最后作者通过实验表明：所提方法在性能与模型复杂度方面取得了更多的均衡。更进一步，增强型的RFDN(Enhanced RFDN, E-RFDN)获得了AIM2020 Efficient Super Resolution竞赛的冠军。

知识蒸馏综述
知识蒸馏设计思想
IDN论文讲解
IMDN论文讲解
Residual Feature Aggregation Network for Image Super-Resolution 中 RFA框架和ESA模块
Self-Attention机制
Non-local机制

1.Introduction

本文的主要贡献：

（1）提出了一种轻量的 residual feature distillation network（RFDN），实现了快速、准确的图像超分辨率，在使用比竞争对手少得多的参数的同时，获得了最先进的SR性能。

（2）本文对 information distillation mechanism（IDM）进行了较为全面的分析，并对IMDN网络进行了反思。基于这些新的理解，作者提出了比IDM更轻量和更灵活的 feature distillation connections（FDC）。

（3）作者提出了 shallow residual block（SRB），它将恒等连接与一个卷积块相结合，在不引入任何额外参数的情况下进一步提高了SR性能。

• RFDN的结构图1所示：
  

图1

2.RELATED WORK

最近，基于深度学习的模型在图像SR方面取得了巨大的改进。Dong等人做了这项开创性的工作，他们- - 首先开发了一个三层卷积神经网络SRCNN，以端到端的方式联合优化特征提取、非线性映射和图像重建。

• 随后，Kim等人提出了超深分辨率（VDSR）网络，通过叠加20层卷积来提高超分辨率网络的性能。
• 为了降低模型的复杂度，Kim等人引入了DRCN，它递归地应用了16次特征提取层。
• DRRN将递归和残差网络方案相结合，对DRCN进行了改进，整个网络方案在参数较少的情况下获得了更好的性能。
• Lai等人提出了laplacian金字塔超分辨率网络（LapSRN），以解决以原始LR图像为输入，逐步重建HR图像的子带残差的速度和精度问题。
• Tai等人提出了用于图像恢复任务的持久存储网络（MemNet），解决了以往CNN体系结构中的长期依赖问题。
• 为了降低计算量，提高测试速度，Shi等人设计了一种高效的亚像素卷积算法（sub-pixels），提高了SR-mdoels末端特征图的分辨率，使得大部分计算都在低维特征空间中进行。
• 出于同样的目的，Dong等人提出了Fast SRCNN（FSRCNN），它采用转置卷积作为上采样层来完成后上采样SR。
• 然后Lim等人提出了EDSR和MDSR，通过移除传统剩余网络中不必要的模块，实现了显著的改进。
• 基于EDSR，Zhang等人通过在残差块中引入密集连接，提出了residual dense network （RDN）。他们还提出了非常深的 residual attention network （RCAN）和 residual non-local attention network （RNAN)。
• Dai等人通过考虑feature statistics higher than first-order统计利用second-order attention mechanism ,自适应地重新缩放特征。
• Guo等人通过引入额外的约束，开发了一种对偶回归方案，使得映射可以形成一个闭环，并且可以重构LR图像以增强SR模型的性能。

尽管基于CNN的方法取得了巨大的成功，但大多数方法都不适用于移动设备。为了解决这个问题，

• Ahn等人通过级联网络架构提出了移动场景的CARN-M模型。
• Hui等人提出了 information distillation network （IDN），将先前提取的特征明确地分为两部分。
• 在IDN的基础上，本文还提出了快速、轻量级的 information multi-distillation network （IMDN），这是AIM-2019约束图像超分辨率挑战的优胜者解决方案。

3.METHOD

3.1 Information multi-distillation block

• 如图2所示，图a给出了IMDN的核心模块IMDB的网路架构图，它是一种渐进式模块(Progressive Refinement Module)，PRM部分(图中灰色背景区域)采用卷积从输入特征通过多个蒸馏步骤提取特征。在每个步骤，采用通道分离操作将特征分成两部分：一部分保留，一个融入到下一阶段的蒸馏步骤。假设输入特征表示为，该过程可以描述为：
  

• 其中$L$