Learning Enriched Features for Fast ImageRestoration and Enhancement

1、一种新的特征提取模型，在多个空间尺度上获得互补的特征集，同时保持原始的高分辨率特征，以保持精确的空间细节。(类似于HRNet的思想) 2、一种定期重复的信息交换机制，其中跨多分辨率分支的特征逐渐融合在一起，以改进表示学习。 3、一种利用选择性核网络融合多尺度特征的新方法，该网络动态地结合可变的感受野，并在每个空间分辨率上地保留原始特征信息。

我们方法的基本构建块，包含几个关键元素:(a)并行多分辨率卷积流用于提取(从细到粗)语义更丰富和(从粗到细)空间精确的特征表示，(b)跨多分辨率流的信息交换，(c)来自不同流的基于注意力的特征聚合，以及(d)残差上下文块用于提取基于注意力的特征。

整体过程：给定图像I，该模型首先应用卷积层提取低级特征F0。接下来，特征映射F0通过N个递归残差群(RRG)，得到深度特征Fn。我们注意到每个RRG包含几个多尺度残差块，接下来，我们对深度特征Fn应用卷积层进行残差。最后，得到的恢复图像。我们使用Charbonnier损失对所提出的网络进行优化。

Multi-Scale Residual Block(MRB):

所提出的网络MIRNet的框架，学习丰富的特征表示用于图像恢复和增强。MIRNet是基于递归残差设计的。MIRNet的核心是多尺度残差块(MRB)，其主要分支致力于通过整个网络维护空间精确的高分辨率表示，而互补的并行分支集提供了更好的上下文化特征。它还允许通过选择性内核特征融合(SKFF)跨并行流进行信息交换，以便在低分辨率特性的帮助下整合高分辨率特性，反之亦然。

它能够通过保持高分辨率表示生成空间精确的输出，同时从低分辨率接收丰富的上下文信息。MRB由多个并行连接的全卷积流(本文中有三个)组成，这些流在不同分辨率的特征图(从低到高)上运行。它允许从低分辨率流中进行上下文化信息传输，以整合高分辨率特性。接下来，我们将描述MRB的各个组成部分。

多尺度残差模块（multi-scale residual block）包含的关键组件：

并行多分辨率卷积流，用于提取（细到粗）语义更丰富和（粗到细）空间精确的特征表示 跨多分辨率流的信息交换 来自多个流的基于注意力的特征聚合 利用双注意单元来捕获空间和通道维度上的上下文信息 残差大小调整模块，以执行降采样和上采样操作

Selective Kernel Feature Fusion(SKFF):

SKFF操作来自多个卷积流的特征，并基于自注意力执行聚合。

如图2所示，SKFF模块通过Fuse和Select这两个操作对感受野进行动态调整。Fuse 通过结合来自多分辨率流的信息来生成全局特征描述。Select使用这些描述来重新校准特征映射（不同的流），然后对它们进行聚合。

（1）Fuse：SKFF接收来自三个携带不同尺度信息的并行卷积流的输入。我们首先使用element-wise summation 组合这些多尺度特征为：L=L1+L2+L3；然后在空间维度使用GAP（全局平均池化）来计算channel-wise 统计 s 。接下来，应用一个信道降尺度卷积层来生成一个紧凑的特征表示z。最后，特征向量z通过三个并行通道升级卷积层（每个分辨率流一个），并提供三个特征描述符v1、v2和v3，每个层的维数为1×1×C。

（2）Select：该操作将softmax函数应用于v1、v2和v3，产生注意激活s1、s2和s3，分别用来自适应地重新校准多尺度特征图L1、L2和L3。

特征重新校准和聚合的总体过程定义为：U=s1·L1+s2·L2+s3·L3。

SKFF模块通过Fuse和Select两个操作对接收野进行动态调整。融合算子通过组合来自多分辨率流的信息生成全局特征描述符。select操作符使用这些描述符重新校准(不同流的)特征映射，然后是它们的聚合。接下来，我们将提供这两个操作符的详细信息。

(1)融合(Fuse): SKFF接收来自两个并行的卷积流的输入，这些流携带着不同尺度的信息。我们首先使用元素和将这些多尺度特征组合为:L=L1+L2。然后，我们在L的空间维度上应用全球平均池化(GAP)来计算通道统计数据S(1x1xc)。

接下来，我们应用一个通道降尺度卷积层来生成一个紧凑的特征表示Z（1x1xr），其中r=c/8用于我们所有的实验。最后，特征向量z通过两个并行的通道升级卷积层(每个分辨率流一个)，并为我们提供两个特征描述符v1和v2，每个描述符的维度为1x1xc。(2)选择:该算子将softmax函数应用于v1和v2，产生注意力激活s1和s2，我们使用它们分别自适应地重新校准多尺度特征映射L1和L2。特征重新校准和聚合的整个过程定义为:U=s1.L1+s2.L2。

Residual Contextual Block(RCB):

当SKFF块融合跨多分辨率分支的信息时，我们还需要一个蒸馏机制来从特征张量中提取有用的信息。受最近低级视觉方法[32]，[69]，[70]，[71]的进步的激励，这些方法结合了注意力机制[110]，[111]，[112]，我们提出了残差上下文块(RCB)来提取卷积流中的特征。RCB原理图如图3所示。RCB抑制了不太有用的特征，只允许更多信息的特征进一步传递。RCB的总体过程总结为:

其中Fb(HxWxC)表示通过在RCB开始时对输入特征Fa(HxWxC)应用两个3x3组卷积层获得的特征映射。这些组卷积比标准卷积更具资源效率，并且能够在每个过滤器组中学习唯一的表示。W表示滤波器大小为1x1的最后一个卷积层。CM代表上下文模块，它分三部分实现。(1)上下文建模:从原始特征映射Fb中，我们首先通过1x1卷积，然后进行整形和softmax操作，生成新的特征Fc (1x1xHW)。接下来，我们将Fb重塑为(1xHWxC)，并与Fc进行矩阵乘法以获得全局特征描述符Fd(1x1xC)。

(2)特征变换:为了捕获通道间依赖关系，我们通过两次1x1卷积传递描述符Fd，从而得到新的关注特征Fe (1x1xC)。(3)特征融合:采用元素加法运算，将上下文特征Fe聚合到原始特征Fb的每个位置。