CVPR2020：Deep Unfolding Network for Image Super-Resolution解读

最新推荐文章于 2024-08-15 09:36:19 发布

hbw136

最新推荐文章于 2024-08-15 09:36:19 发布

阅读量5.9k

点赞数 7

分类专栏：超分辨率文章标签：计算机视觉深度学习

本文链接：https://blog.csdn.net/hbw136/article/details/113857516

版权

本文介绍了一种深度展开网络USRNet，用于图像超分辨率，融合了基于模型方法的灵活性和深度学习的优势。USRNet能处理不同尺度因子、模糊核和噪声水平的图像，通过端到端训练实现优异的性能和可推广性。此外，USRNet包含数据、先验和超参数三个模块，分别对应数据项、先验项优化和迭代控制。实验表明USRNet在多种退化设置下表现出色，具有广泛的应用潜力。

摘要由CSDN通过智能技术生成

Title：Deep Unfolding Network for Image Super-Resolution(图像超分辨率的深度展开网络)
Writers：Kai Zhang Luc Van Gool Radu Timofte
Conference：cvpr2020
作者单位：Computer Vision Lab, ETH Zurich, Switzerland
代码链接：https://github.com/cszn/USRNet
论文链接：https://arxiv.org/abs/2003.10428

问题动机：
基于学习的单图像超分辨率(SISR)方法不断显示出优于传统的基于模型的方法的有效性和高效率，这在很大程度上归功于端到端的训练。然而，不同于在统一的最大后验概率框架下用不同的尺度因子、模糊核和噪声水平来处理SISR问题的基于模型的方法，基于学习的方法通常缺乏这种灵活性。

解决思路：
通过半二次分裂算法展开MAP推理，可以获得由交替求解数据子问题和先验子问题组成的固定迭代次数。然后，这两个子问题可以用神经模块求解，得到一个可训练的端到端迭代网络。

方法亮点：
因此，所提出的网络继承了基于模型的方法的灵活性，通过单个模型对不同比例因子的模糊、有噪声的图像进行超分辨，同时保持了基于学习的方法的优势。大量实验证明作者了所提出的深度展开网络在灵活性、有效性和可推广性方面的优越性。

主要结果：
1)提出了一种端到端可训练的展开超分辨率网络。USRNet是第一次尝试通过单一的端到端训练模型来处理具有不同比例因子、模糊核和噪声水平的经典退化模型。
2) USRNet整合了基于模型的方法的灵活性和基于学习的方法的优势，提供了一条弥合基于模型的方法和基于学习的方法之间的差距的途径。
3) USRNet本质上对解决方案施加了退化约束(即估计的HR图像应符合退化过程)和先验约束(即估计的HR图像应具有自然特征)。
4）USRNet在不同退化设置的LR图像上表现良好，显示出巨大的实际应用潜力。

重点解读:
1·Degradation models（退化模型）

单个退化模型(即等式(1))对于HR图像来说，可能导致各种LR图像，具有不同的模糊核、比例因子和噪声，但是仍然缺乏学习单个深度模型来将所有这样的LR图像反转为HR图像的研究。