DIPNet：NTIRE 2023 图像复原和增强赛事Efficient Super-Resolution赛道冠军方案

欢迎关注公众号 - 【AICV与前沿】，一起学习最新技术吧

欢迎关注公众号 - 【AICV与前沿】，一起学习最新技术吧

欢迎关注公众号 - 【AICV与前沿】，一起学习最新技术吧

一年一度的NTIRE 2023赛事又来了，今年Efficient Super-Resolution赛道冠军方案来源于旷视科技的DIPNet–高效蒸馏和迭代剪枝方案。

算法方案主要分为四个部分：

（1）重新讨论了RLFB，并提出了一个重新参数化残差特征块(RRFB)网络结构主要由多个rrfb叠加构成。

（2）基于模型引导下的ground-truth增强策略来提高原始HR的质量。

（3）多层级蒸馏，它可以有效地提高网络的性能。

（4）提出了一种迭代修剪策略，以进一步减少模型参数的数量。

RRFB模块

RLFN是去年字节跳动提出的一个CVPR方案，去年我也基于该网络做修改迁移到了画质增强领域，感觉效果还是很不错的。

这里在RLFN的块RLFB的基础上，引入了可重新参数化的拓扑结构，包括串行的卷积重参数化和并行的重参数化，这种方法为我们带来的无损的精度提升。在训练阶段将RLFB中的RLFB扩展为再参数化残差特征块(RRFB)。RRB结构在优化过程中挖掘了复杂结构的潜在能力，同时保持了计算效率，因为它在推理过程中相当于一次3x3卷积的计算量。

GT增强

几乎所有现有的SR方法在训练阶段都直接使用原始HR图像。然而，原始HR图像的感知质量可能不像HGGT所提到的那样高。受HGGT的启发，我们提出了一个模型指导GT增强策略，提高GT质量。我们首先使用混合注意力转换器主干训练一个大型网络，以获得1倍的超分辨率。然后将HR图像IHR用作1倍超分辨率的输入，从而产生增强的HR输出Ienh。然后使用低分辨率图像ILR和增强的HR Ienh进行4倍的超分辨率训练。

一句话就是就是对原始的 GT 过一个1x 超分的网络进行增强，这个1x 超分网络我们选用当前超分的 SOTA 网络 HAT，基于此结构重新训练了一个 1x 模型。

可以看出模型增强后的GT比原来的具有更加丰富的细节。

多层级蒸馏

采用一个多层级蒸馏方法，首先利用增强的 GT 训练一个比较大的 Teacher Net，然后用 Teacher Net 对 Student Net （也就是我们的小模型）进行特征层面和图像层面的蒸馏（除了特征层面的蒸馏监督外，对最后输出图像也进行了大模型输出图像监督以及增强 GT 的监督）。除此以外，我们在训练好的小模型基础上也采用了比赛提点的 trick，在 L1 loss 训练收敛后使用 L2 loss 进行 finetune、渐进式增大 patch。

迭代剪枝

迭代地对重新参数化的学生网络S进行剪枝：

式中Φ为剪枝操作，r为剪枝率，Φ为微调操作，sp为第i次剪枝后的网络。受AGP的启发，我们在模型训练的迭代剪枝方法中使用了L2滤波器剪枝。直到网络不能做出有效的预测，停止修剪，并使用最后一次有效修剪得到的网络作为最终网络。

Times表示使用NVIDIA 2080ti在DIV2K数据集上测量的平均推理时间，以毫秒(ms)为单位。当输入为256×256时，测量GFLOPS和内存。PSNR是在DIV2K上测试的结果。最好和次好的结果分别用红色和蓝色标记。