毕业设计-基于深度学习的单幅图像超分辨率重建算法

目录

前言

课题背景和意义

实现技术思路

一、超分辨率图像数据集

二、单幅图像超分辨率重建的研究

三、图像质量评估

实现效果图样例

最后

---

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯基于深度学习的单幅图像超分辨率重建算法

课题背景和意义

图像超分辨重建技术因其可以方便快速地将低分辨率冬像高效高质地重建为高分辨率图像而备受关注，在遥感成像、医学影像处理、视频监控等领域有广泛应用。由于计算机硬件的发展和训练算法的进步，深度学习具有强大的处理大量非结构化数据的能力。近年来，基于深度学习的单幅冬像超分辨重建技术取得了较大进展。单幅图像超分辨率 (Single image super-resolu-tion, SISR) 重建是根据一张低分辨率 (Low resolu-tion, LR) 图像恢复出高分辨率 (High resolution, HR) 图像的过程。 单幅图像超分辨率的 (Single image super-resolution, SISR) 重建成为计算机视觉领域上的一个重要问题 ,  在安防视 频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值. 随着 深度学习在图像分类、检测、识别等诸多领域中取得了突破性进展,  推动着图像超分辨率重建技术的发展，考虑到任务自身的难点以及主客观评价指标的差异，已有研究成果与实际应用间还存在差距。

实现技术思路

一、超分辨率图像数据集

为了方便比较算法的优异性 ,  目前国际上形成了专用于超分辨率图像公共基准数据集, 使用较为广泛的 Set5、Set14、Urban100、General-100、BSDS300、BSDS500、Manga109、等, 这些图像来源不同, 有人物、动物、风景、建筑、生活上常见的景象以及虚拟合成的动漫图像等, 且每个数据库图像的分辨率、质量各不相同, 各个数据集的图片数量与格式也并不同, 有 JPG、PNG 与 BMP 等图像格式。

二、单幅图像超分辨率重建的研究

基于有监督学习的超分辨率重建

有监督学习是指利用一组带有标签的数据 ,  学习从输入到输出的映射,  然后将这种映射关系应用到未知数据上,  达到分类或回归的目的 .  由于有监督学习方法相对简单且优于多数传统算法,  因此受 到广大学者们的青睐。

1）基于卷积神经网络的超分辨率重建

对采集到的 HR 图像以一定的采样因子下采样,  得到的图像称为 LR 图像 .  再利用双三次插值的方法重建成与原来 HR 图像同等尺寸大小,  将其作为输入 ,  经过构建的卷积层 Conv1+ 激活函数 Relu1— 卷积层 Conv2+ 激活函数 Relu2—卷积层 Conv3 框架的学习 ,  与相对应的 HR 图像求损失函数,  使损失函数不断减小 ,  期间通过反向传播调整各卷积层的权值,  直至损失函数收敛 ,  使重建后的 SR 图像质量逼近于 HR 图像质量 ,  从而达到重建的目的。

2）基于递归神经网络的超分辨率重建

在超分辨率问题中 ,  为了使生成的图像质量高 , 多数卷积神经网络不使用池化层,  但随着网络的加 深,  将会增加更多的参数 ,  容易过拟合 ;  考虑到递归神经网络可有效减少网络的参数, 因此采用了递归神经网络作为其基本网络,  提出了DRCN 模型。

3）基于循环神经网络的超分辨率重建

引入循环神经网络 RNN,  提出基于双循环网络状态的 DSRN 模型 .  该模型 在两个方向 (LR 到 HR 和 HR 到 LR) 之间交换循环信号,  并将这两种状态预测的特征联合起来进行最终的预测,  取得了不错的效果。

4）基于对抗神经网络的超分辨率重建

SRGAN模型,  网络主体采用对抗神经网络 (Generative ad-versarial net, GAN)  ,  损失函数采用感知损失与对抗损失之和.    SRGAN模型产生出的图像更加自然清晰,  更符合人眼的视 觉效果。

5）基于反馈机制的超分辨率重建

在神经网络中添加反馈机制和注意力机制, 更有助于提升图像质量。具有反馈连接的递归结构具有 较强的重建能力, 且只需要较少的参数。

6）基于通道注意力机制的超分辨率重建

将通道注意力机制 (Channel atten-tion, CA) 和残差块相结合 ,  提出了 RCAN 网络模 型, RCAN 延续了神经网络深度越深 ,  效果越好的理念。

7）基于损失函数的改进策略

在网络结构进行改进外 ,  所使用的损失函 数不同,  生成的图像质量也有所不同 .  常用的损失函数有像素损失、内容损失、对抗损失、纹理损失、 总变差损失以及上下文损失等。

①像素损失 (Pixel loss)

目前多数 SR 模型均采用像素损失 ,  像素损失函数一般分为 L1 损失和 L2 损失。

②内容损失 (Content loss)

采用预训练好的卷积神经网络提取生成图像与 Ground truth 图像的高阶特征 ,  再逐层求平方差,  将所有层加起来 ,  即为内容损失。

③对抗损失 (Adversarial loss)

在超分辨率领域 ,    只需要将 SR 模型作为一个生成器, 另外定义一个鉴别器来判断输入图像是否生成.  首先在 SRGAN 模型中引入了基于交叉熵的对抗损失。

8）基于上采样层的改进方法

在网络结构的改进中 ,  除了可以应用不同的神经网络类型以及结合多种损失函数进行监督外,  还可以对其上采样模块进行改进.  将 LR 图像上采样为 HR 图像 ,  上采样模块是必不可少的。

9）针对多尺度超分辨率重建

 LapSRN 网络有两个分支 ,  一个 是特征提取分支,  一个是图像重构分支 .  该模型是逐步学习,  输出不同尺度的残差 ,  得到对应尺度的重构结果,  而不是像其他模型只有一个输出。

基于弱监督学习的超分辨率重建

弱监督学习模型 CinCGAN, 该模型由 4 个生成器、 2 个鉴别器以及 2 个 Cycl-eGAN 组成 ,

第一个 CycleGAN 用于有噪声的 LR 图像到真实的 Clean LR 图像的映射 ,  第二个 CycleG-AN 的结构与第一个相同 ,  不同点在于第二个 Cycl-eGAN 是学习 Clean LR 图像到 Clean HR 图像的映射,  且 LR 图像与 HR 图像是不成对的。

基于无监督学习的超分辨率重建

针对特定领域的超分辨率重建

1）针对盲超分辨率 (Blind Super-resolution) 图像重建的方法

  只有模糊核匹配时,  才会得到较好的图像超分辨率效果, 否则会产生的振铃效应，因此在真实场景中准确估计出模糊核是必要的.

2）面向实际场景的图像超分辨率重建的方法

由于缺乏真实的训练数据, 现有的超分辨率方法在实际场景中表现不佳， 为了解决此类问题,  通过模拟图所示的数码相机成像, 构建了双卷积神经网络来生成真实的训练数据。

3）  针对人脸超分辨率重建的问题

针对人脸超分辨率问题 ,  提出了 FS-RNet 和 FSRGAN 模型 ,  首先构建一个粗糙的 SR，网络生成粗糙的高分辨率图像; 之后将粗糙的高分辨率图像送入 2 个分支网络, 其中一个是精细的SR 网络, 用来提取图像特征, 另一个是先验信息估计网络, 用来估计人脸特征点和分割信息; 最后将2 个分支结果汇入一个细粒度解码器进行重构信息。

三、图像质量评估

为了方便评估超分辨率模型产生出的图像质量,  有必要运用图像质量评估准则对图像质量作出

准确的评价。

1）客观评价方法

① 峰值信噪比 (Peak signal-to-noise ratio, PSNR)

②结构相似性 (Structural similarity index, SSIM)

2）主观评价方法

在国际标准中, 平均主观意见分 (Mean opinion score, MOS)

实现效果图样例

 部分模型的主观视觉对比：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后