基于深度学习的图像修复系统，GAN图像修复

挂科边缘

已于 2024-09-12 10:16:18 修改

阅读量4.9k

点赞数 37

文章标签：深度学习生成对抗网络人工智能 python gan

于 2023-11-29 13:09:50 首次发布

本文链接：https://blog.csdn.net/weixin_44779079/article/details/134672682

版权

本文介绍了深度学习在图像修复中的应用，特别是基于自动编码器和GAN的模型，以及如何利用U-Net的双流架构捕捉结构和纹理信息。同时，文章提到使用PyQt进行登录模块和图像修复界面设计，展示了技术在实际应用中的整合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

近年来，深度学习已成为计算机视觉领域的研究热点，基于深度学习的图像修复技术弥补了传统修复方法长期存在的不足，显著提高了生成结果的质量。深度学习是指模仿人脑机制设计的具有深层结构的神经网络。深度学习作为一种表征学习，通过模仿人脑神经元之间的信息传递方式来学习输入数据的特征，并找到输入和输出数据之间的映射关系。通过在图像修复中应用深度学习技术，可以准确学习图像的语义信息，然后根据信息预测缺失的内容，大大克服了传统修复算法的不足，使结果更具逻辑性。随着该领域研究的进展，以卷积神经网络为代表的前馈神经网络已被证明能够捕获图像的抽象信息。Goodfellow等在2014年提出的另一种广泛使用的深度学习方法是生成对抗网络（GAN），该方法表明GAN大大提高了图像修复中生成结果的质量。因此，使用GAN生成图像的缺失内容可以取得相当令人印象深刻的效果。

一、理论基础

基于自动编码器的结构训练卷积神经网络以回归缺失的像素值。典型的基于自动编码器的结构执行两个步骤：（1）编码器将图像的上下文捕获到紧凑的潜在特征表示中;（2）使用表示来生成缺失图像内容的解码器。Gan网络架构主要分为Generator(生成器)和Discriminator(判别器)两个阶段。
在这里插入图片描述

生成器的作用主要是为了生成一张伪造的图片Fake image。
那么伪造图到底造的好不好主要依靠右侧的判别器进行判别。将真实图片与伪造图片进行判别。所以就需要训练来确定结果，生成器是一个双流架构，由一个U-Net变体建模，在编码阶段，将被损坏的图像及其对应的边缘映射分别投影到潜在空间中，其中左分支关注纹理特征，右分支关注目标结构特征。在解码阶段，纹理解码器通过从结构编码器借用结构特征来合成结构约束的纹理，而结构解码器通过从纹理编码器提取纹理特征来恢复纹理引导的结构。有了这样的双流架构，结构和纹理可以很好地相互补充，从而导致更好的结果。在这种基于编码-解码器的主干中，为了更好的捕捉非规则的边缘信息，我们用局部卷积代替了所有的普通卷积，因为部分卷积仅限于未损坏的像素。此外，跳过连接可以通过结合多个尺度上的低级和高级特征来产生更复杂的预测。以增强重建后的结构和纹理的一致性。