使用深度学习来实现图像超分辨率综述！

passion_up

已于 2025-01-05 11:46:04 修改

阅读量2k

点赞数 17

分类专栏：科研Python相关文章标签： opencv 计算机视觉数码相机

于 2025-01-05 11:42:54 首次发布

本文链接：https://blog.csdn.net/qq_45913945/article/details/144943166

版权

今天给大家介绍一篇图像超分辨率邻域的综述，这篇综述总结了图像超分辨率领域的几方面：problem settings、数据集、performance metrics、SR方法、特定领域应用以结构组件形式，同时，总结超分方法的优点与限制。讨论了存在的问题和挑战，以及未来的趋势和发展方向。

论文地址：https://arxiv.org/pdf/1902.06068.pdf

1前言

超分辨率（Super Resolution，SR）是从给定的低分辨率(LR)图像中恢复高分辨率(HR)图像的过程，是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像（说白了就是提高分辨率），在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。

近年来，目睹了使用深度学习技术的图像超分辨率的显着进步。文中将现有的使用深度学习方法解决图像超分辨率问题的研究工作主要分成三个部分：

supervised SR（有监督学习的图像超分辨率）
unsupervised SR（无监督学习的图像超分辨率）
domain-specific SR （特定应用领域的图像超分辨率）

2超分辨率SR问题定义

LR（低分辨率图像）图像为以下处理过程的输出：

其中，D代表一个退化映射函数，Iy代表相应的HR（高分辨率）图像，δ代表这个映射过程中的一些其他参数（例如：比例因子或者噪声项）多数情况下，只提供LR图像，需要恢复相应的Iy：

其中，F为模型，θ 为模型的参数表示。大多数工作将退化映射建模为单个降采样操作：

其中，↓s为比例因子为S的降采样操作，最常用的降采样操作是双三次插值，也有其他方法将退化映射建模为几个操作的组合：

其中，Iy⊗κ代表模糊核k与HR图像之间的卷积操作。nς 为可加的带标准差ς的高斯白噪声，上式与上上式相比，更接近实际情况，对SR更加有利。

因此，SR的目标函数为：

其中，Φ(θ)是正则化项，SR最常见的损失函数为逐像素差的均方误差，更强大的模型往往采用将多种损失函数相结合的方式。

3数据集

一些数据集提供HR-LR图像对，有的只提供HR图像，LR图像通常是通过MATLAB中默认设置的imresize函数（双三次插值with anti-aliasing）获得。下表是一些SR常用数据集：

4图像质量评估

如何定量地评估模型的性能？许多图像质量评估(IQA)技术(或度量)用于相同的目的。这些指标可以大致分为两类——主观指标和客观指标。

峰值信噪比 PSNR

峰值信噪比(PSNR)是一种常用的客观指标，通常用来衡量有损变换的图像质量。对于SR，通过图片间的最大可能像素值L和均方误差MSE定义，PSNR与ground truth图像与生成图像的均方误差(MSE)的对数成反比。假设HR图像I和重建图像 ˆ I，两者的像素都是N，MSE和PNSR(db)如下所示：

在上面的公式中，8bit表示一个像素点的取值，取值范围为0~255，L是可能的最大像素值(对于8位RGB图像，它是255),PSNR的典型值从20到40不等，越高越好。从式子可以看出，L一定，PNSR只与像素间的MSE有关，所以，PSNR只关心像素值之间的差异，它并不能很好地代表感知质量。PSNR在真实场景的SR衡量效果较差，但由于缺乏感知衡量标准，运用最为广泛。