CVPR2020超分辨率重建论文阅读笔记

• 为什么要进行超分辨率重建：
  1.视觉效果不吸引人
  2.影响下游方法使用，如分割等
  3.电子显示产品分辨率提高，需要更高分辨率的图像
• 超分辨率重建问题面临难点和存在问题如下：
  1.病态问题：一对多，同样的LR图像对应无数解
  2.MSE指标可能导致结果平滑，且没有关注纹理关系信息
  3.下采样方式常为预设，不能够适配现实情况
  4.成对低高分辨率图像难以获得

一. PULSE：

• 文章 PLUSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
• 链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2003.03808
• 代码 github.com/adamian98/pu
• 贡献：
  1.一个新的超分辨率重建的处理范式。不同于以往对所得的多种重建HR结果平均处理获得最终结果的做法，而是令产生的HR图像能够降采样获得正确的输入LR图像。
  2.一种解决超分辨率重建任务的新方法：无监督GAN。
  3.高维高斯先验下隐空间探索的一种原始方法。
• 方法：
  1.损失函数上的改进：
  将损失函数由$${\int }_{M\cap R}||I_{HR}-I_{SR}|{|}_p^{p}dP(I_{HR})$$，即令生成的$I_{SR}$与标签信息$I_{HR}$整体上更接近，在整个可行隐空间上进行积分
  改为：$$||DS(I_{SR})-I_{LR}|{|}_p<ϵ$$，即令生成后的数据下采样结果更接近低分辨率结果，以避免平均导致的平滑问题。
  2.隐空间探索
  采用，GAN网络来生成图像近似M中图像，为了让结果更像，对生成模型的隐变量添加统一的先验约束：
  $$L^{\prime }=\sqrt{d}{S}^{d-1}$$

二. Dual Regression Networks：

• 文章 Closed-Loop Matters: Dual Regression Networks for Single Image Super-Resolution

• 链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2003.07018

• 代码 https://link.zhihu.com/?target=https%3A//github.com/guoyongcs/DRN

• 贡献：
  1.一个对偶网络框架
  2.研究了一个更一般的超分辨率案例，能够更好适应现实数据
  3.分别在成对与不成对数据上进行试验

• 方法
  1.成对数据的对偶算法
  P：低分辨到高分辨映射
  D：高分辨到低分辨映射
  $S_P$:成对的训练数据，x低，y高
  损失函数：$$\sum _{i=1}^N{L}_P(P(x_i),y_i)+\lambda L_D(D(P(x_i)),x_i)$$
  1.不成对数据的对偶算法
  

• 网络结构
  

三. MZSR：

• 文章 Meta-Transfer Learning for Zero-Shot Super-Resolution
• 链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2002.12213
• 代码 https://link.zhihu.com/?target=https%3A//github.com/JWSoh/MZSR
• 贡献：
  1.一种基于元学习的训练方案，学习了一个有效初始权重并用于在无监督设置下快速适应新任务
  2.充分利用了外部样本与内部样本
  3.快速，灵活，轻量级，在元测试时间无监督，适合在现实中应用
• 核心思想：为零样本方法ZSSR与元学习算法MAML的结合，故在此先对背景知识进行介绍。

1.ZSSR

由论文 “Zero-Shot” Super-Resolution using Deep Internal Learning 提出，发表于CVPR2017,是第一个提出的基于CNN网络的无监督SR算法。

• 立足点：网络通常只在测试样本与训练样本情况或环境相似的的情况下表现好。
• 贡献：
  1.是第一个提出的基于CNN网络的无监督SR算法
  2.它可以处理非理想的成像条件，以及各种各样的图像和数据类型（即使第一次遇到）。
  3.它不需要预训练，并且可以使用少量的计算资源来运行。
  4.理论上适应任何大小与纵横比的图像
  5.在测试时适应已知的未知的成像条件
• 核心思想：“the internal entropy of patches inside a single image is much smaller than the external entropy of patches in a general collection of natural images”，即充分利用单幅图像内有规律性质的重复图块来实现SR图片重构。
• 网络结构
  使用简单的全卷积网络，8个隐藏层，没个隐层层64个通道，使用Relu作为激活函数，网络的输入图片会被插值到输出图片大小，网络只学习插值的LR和相应的HR parent，使用L1损失函数，Adam优化器，初始学习率是0.001。
  
• 方法
  1.预先训练一个外部网络
  2.对测试图像进行扩充，下采样作为输入，进行训练。最后将获得的网络用于测试图像

2.MAML

• 核心思想：从与任务不同却相似的大量样本中学习一个普遍的规律，达到一个平衡点，从而在应用于样本数少的任务能够快速的获得一个较好的模型。
  

• 通过在初始参数的基础上进行一或多步的梯度调整，来达到仅用少量数据就能快速适应新task的目的

• 算法流程：
  

回归正题，MZSR方法步骤如下：
1.大量成对样本预训练。即提供了先验信息，又能尽量改善MAML的不稳定性。
2.元迁移学习。选取不同的下采样方法制作成对的HR-LR数据集。(本文中采用各相同和各相异高斯核)

3.原测试。对测试图像进行不同下采样，进行少步骤的更新，获得结果。

个人感觉，MZSR方法与ZZSR方法的区别主要在于中间插入了元学习的梯度更新步骤，以此减少了最后单样本测试时所需的梯度更新次数，也是本文的亮点。

• 网络结构如下：
  

参考

1.https://blog.csdn.net/weixin_43840215/article/details/89327201
2.https://zhuanlan.zhihu.com/p/149322505