CVPR2020超分汇总

一、Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

（1）出发点：

• 自然图像中不同区域会存在一些相似结构，当前模型忽略了图像中长距离的特征相似性。
• 最近的一些研究通过探索非局部注意力模块成功地利用了这种内在特征相关性（如SAN中的非局部模块）。然而目前的深度模型都没有研究图像的另一个固有特性：跨尺度特征相关性。
  

（2）主要贡献：

• 提出跨尺度非局部(CS-NL)注意模块，并将其集成到循环神经网络中，该模块可以使网络在单个低分辨率图像中发现更多的跨尺度特征相关性。

（3）模型网络结构

（4）Cross-Scale Non-Local (CS-NL) attention module

Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining论文详细讲解

二、Robust Reference-based Super-Resolution with Similarity-Aware Deformable Convolution

（1）出发点

• 图像降采样过程丢失了原始的高频信息，因此想要重建精确高频细节是很有挑战的。基于参考图像的超分方法（RefSR）可以利用相似的高频信息协助LR完成重建。
• 现有RefSR方法的参考图像主要从视频帧、web图像搜索或从不同的视点中获得。他们的缺陷是对参考图像的相似性要求较高。

（2）主要贡献

• 利用可分离卷积（similarity-aware deformable convolution）设计相似性搜索与特征提取网络（SSEN）来提取参考图像的特征。
• 该方法具有较好的鲁棒性和自适应能力，且在给定不相关参考点的情况下PSNR没有下降。

（3）网路结构

（4）动态偏移估计模块

作用：估计偏移偏移量，然后特征对齐。

三、Residual Feature Aggregation Network for Image Super-Resolution

（1）出发点

本文着重网络结构的优化，通过优化信息流，提高重建的性能。

（2）主要贡献

• 提出一种特征聚合框架（Feature Aggregation），可以显著提升网络的性能。
• 提出增强的空间注意力模块。

（3）网络结构

（4）特征聚合模块

四、Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

（1）出发点

• 现有方法存在映射函数解空间大的问题，导致重建结果不理想。
• 现实场景中成对数据是不存在的，如何有效地利用不成对数据使SR模型适应实际应用成为一个紧迫而重要的问题。

（2）主要工作

• 增加约束，设计双重回归方案，这样映射可以形成一个闭环，以提高模型的性能。
• 针对现实场景中无成对数据设计无监督方案。

（3）双重回归结构示意图

增加了一个回路和一个LR图像上的损失。

（4）DRN结构

主体网络为U-Net结构，增加回路（红色箭头），对LR进行监督。

（5）成对数据训练

（6）非成对数据训练

五、Structure-Preserving Super Resolution with Gradient Guidance

（1）出发点

• 现有方法利用GAN来生成纹理更真实的高分辨率图像，但是在此过程中，往往会产生一些结构扭曲能现象（undesired structural distortions）。

（2）主要工作

• 本文提出了一种利用梯度信息保持重建图像结构准确性的超分辨方法。

（3）网络结构示意图

（4）损失函数

• 常规GAN损失：
  生成器：L1损失+对抗损失+感知损失
  判别器1：判别损失
• 梯度损失：
  梯度图L1损失+梯度图判别损失+梯度图对抗损失
  判别器2：梯度图判别损失
  
  
  
• 生成器Total loss
  

（6）Perceptual Extreme Super Resolution Network with Receptive Field Block

（1）出发点

极端感知超分任务是极其困难的，因为不同图像的纹理细节差异很大。

（2）主要工作

设计感知模块（receptive field block，RFB）来为了提取多尺度信息，同时增强特征可判别性。

（3）RFA模块