Component Divide-and-Conquer for Real-World Image Super-Resolution

注意力

该论文是一篇ECCV 2020的文章。
PDF: Component Divide-and-Conquer for Real-World Image Super-Resolution
code: https://github.com/xiezw5/Component-Divide-and-Conquer-for-Real-World-Image-Super-Resolution

Motivation

受Harris角点检测的启发，图像内容根据其梯度变化可分为三个主要视觉分量：平坦，边缘和角点区域。

Proposed method

1. Network structure
网络结构如下图所示：

网络流程为：
（1）输入LR图像，网络分为三个部分分别处理不同的区域：平坦、边缘、角点；
（2）每个部分都生成相应的中间超分结果以及一个注意力mask，该输出超分结果即对应着不同的关注区域。最终的超分输出为3个由attention mask加权的超分结果相加得到。
（3）如何区分三个区域？作者利用Harris角点检测算法从HR图像中事先提取到一个mask Me，该mask Me与GT和中间的超分结果相乘后做损失。

2. Loss function

损失函数主要包括了最后的重建损失和中间的SR结果与GT的损失。其中，

Me是从HR图像中提取到的component guidance mask。
本文中重建损失采用的是梯度加权损失，该损失基于focal loss，在强调主要区域的同时抑制大量简单区域：

其中Dgw由水平方向和竖直方向上的梯度差构成，当a=0时，此时梯度损失即为L1损失。

Conclusion

1. 本文提出了一个大规模的真实场景超分数据集；
2. 为了缓解复杂多样的图像退化，考虑到不同区域的重建难度，本文提出了分而治之模型（CDC）来解决实际的SR问题。
3. CDC利用三个中间部分注意力模块（CAB）来学习中间注意力mask和中间的SR预测以及中间监督学习策略。
4. 提出了梯度加权损失以使得模型能够根据不同的重建难度自适应的学习。

思考
文章旨在解决图像中不同区域的重建难度不同的问题，利用注意力来对不同的区域进行学习。
(recoded by xt)