论文笔记：MPRNet: Multi-Stage Progressive Image Restoration

相关方法

单阶段、多阶段、注意力

方法

将图像分割为不重叠的patches：四个用于第一阶段，两个用于第二阶段，原始图像用于最后一阶段。残差学习：$X_S=I+R_S$，损失函数为$$\mathcal{L}=\sum _{S=1}^3\left[{\mathcal{L}}_{char}\left({\mathbf{X}}_S,\mathbf{Y}\right)+\lambda {\mathcal{L}}_{edge}\left({\mathbf{X}}_S,\mathbf{Y}\right)\right]$$

编码-解码子网络：首先，我们添加通道注意块(CAB)以提取每个尺度的特征。其次，U-Net Skip连接处的特征图也会通过CAB进行处理。最后，我们没有使用转置卷积来提高解码器中特征的空间分辨率，而是在卷积层之后使用双线性上采样。这有助于减少输出图像中因转置卷积而产生的棋盘效应。

CAB结构如下：
在最后一阶段引入了原始分辨率子网络(ORSNet)。ORSNet不采用任何下采样操作，并生成空间丰富的高分辨率特征。它由多个原始分辨率块(ORB)组成，每个原始分辨率块还包含CAB。ORB的结构如下：
交叉阶段的特征融合：我们在两个编码器-解码器之间以及编码器-解码器和ORSNet之间引入了CSFF模块。请注意，一个阶段的特征首先用1×1卷积进行细化，然后再传播到下一阶段进行聚合。CSFF有几个优点。首先，由于在编码器-解码器中重复使用上下采样操作，使得网络不易受到信息丢失的影响。第二，一个阶段的多尺度特征有助于丰富下一阶段的特征。第三，网络优化过程变得更加稳定，因为它简化了信息流，从而允许我们在总体架构中添加几个阶段。
在每两个阶段之间引入一个监督注意力模块，这有助于实现显著的性能提升。首先，它提供了对每个阶段的渐进式图像恢复有用的地面真实监控信号。其次，在局部监督预测的帮助下，我们生成注意力图来抑制当前阶段信息量较小的特征，只允许有用的特征传播到下一阶段。
SAM接受早期阶段的特征$F_{in}\in R^{H\times W\times C}$，首先使用一个简单的1×1卷积生成残差图像$R_S\in R^{H\times W\times 3}$。将残差图像添加到降级的输入图像$I$以获得恢复的图像$X_S\in R^{H\times W\times 3}$。对于这个预测图像$X_S$，我们用地面真实图像(GT)提供明确的监督。接下来，每(per)像素的注意力Masks $M\in R^{H\times W\times C}$由图像$X_S$使用1×1卷积和Sigmoid激活生成。然后，这些Masks用于重新校准变换后的局部特征$F_{in}$(在1×1卷积后获得)，从而产生被添加到恒等映射路径的注意力引导特征。最后，SAM生成的注意力增强特征表示$F_{out}$被传递到下一阶段进行进一步处理。

实验设置

消融实验：

代码

https://github.com/swz30/MPRNet