关注公众号，发现CV技术之美
本篇分享论文Graph Convolutional Network for Image Restoration: A Survey，由西工大&西澳大学&同济大学共同发布，第一篇图卷积网络在图像复原上综述（论文开源）。
作者：程童桐，毕婷婷，吉文，田春伟
单位：西北工业大学，西澳大学，同济大学
论文链接：https://www.mdpi.com/2227-7390/12/13/2020/xml
论文涉及相关代码链接：https://www.mdpi.com/2227-7390/12/13/2020/xml
1 背景与动机
图像修复技术在计算机科学、医学、遥感和安全监控等领域具有重要作用，旨在去除图像中的噪声和模糊，恢复其原本的清晰度。传统方法依赖于概率模型和先验知识，但在处理复杂和高噪声图像时性能有限。随着深度学习技术的发展，特别是卷积神经网络，图像去噪取得了显著进展。然而，卷积神经网络在处理非欧几里得数据（如图结构数据）时存在局限，促使研究人员探索新的方法。
图卷积网络通过将卷积操作扩展到图结构数据上，能够有效捕捉节点特征及其在图中的相对位置，适用于处理复杂拓扑结构的数据。在图像修复任务中，图卷积神经网络不仅能捕捉局部特征，还能整合全局信息，显著提高图像修复质量。
本文综述了基于图卷积神经网络的图像修复技术，包括图像去噪、超分辨率和去模糊三个主要领域，通过比较现有方法的动机、原理和性能，探讨了图卷积神经网络在图像修复中的应用潜力、挑战和未来发展方向。
研究发现，图卷积神经网络方法在捕捉长距离依赖性和提升图像质量方面表现出色，展示了其在未来研究和应用中的巨大潜力。
2 研究框架
本文由浅入深介绍了图卷积神经网络在图像复原领域的应用，首先介绍图卷积神经网络的发展和基本原理，强调了图卷积神经网络在处理非欧几里得数据方面的优势。然后介绍了几种常见的图卷积神经网络网络模型（如：GraphSAGE，GATs等）。文章重点总结图卷积神经网络技术在图像修复中的具体应用，包括定量和定性的性能比较，研究框架如图所示：
图卷积神经网络在图像复原方面的应用包括图像去噪、图像超分辨和图像去模糊，随着当下大语言模型(LLM)的火爆，文章还讨论了图卷积神经网络与大语言模型结合在图像复原方面的应用。
2.1 图卷积神经网络用于图像去噪
2.1.1 GCNs and Improved Methods for Image Denoising
在图像去噪领域，图卷积神经网络因其强大的图数据处理能力而成为研究的热点。与传统的卷积神经网络不同，图卷积神经网络擅长从非欧几里得几何结构中提取特征，很多学者提出了将图卷积神经网络和其改进方法用于图像去噪的方法。
自适应聚合GCN（AdarGCN）通过增强自适应聚合机制减少噪声，跨补丁一致性GCN（CP-GCNs）利用跨补丁图卷积捕捉长距离依赖性，图注意力去噪方法（GAiA-Net）通过图注意力机制生成像素级注意力显著提升去噪效果，动态注意图学习模型（DAGL）通过动态注意机制自适应平衡图像内容，窗口化图注意卷积网络（WGAT）结合边缘增强模块提高去噪效率。在这些方法中，GAiA-Net在多个数据集和高噪声水平下表现最佳，显示出更高的PSNR值和去噪性能。
表2提供了GCN及改进方法用于图像去噪的总结：
2.1.2 GCNs Combine with Other Methods for Image Denoising
图卷积网络结合其他方法在图像去噪中展现了强大的效果。GCN能够建模全局上下文信息和非局部自相似信息，而卷积神经网络擅长提取局部空间模式，生成对抗网络（GANs）则擅长学习噪声分布。通过结合这些方法，可以实现更准确有效的图像去噪。
比如，Fu等人提出的方法结合了GCNs和CNNs来建模像素和通道之间的全局关系；Chen等人使用GANs学习低剂量CT图像的噪声分布，并通过GCNs探索非局部自相似信息；
Liu等人提出的CEGCN框架融合了CNNs和GCNs处理高光谱图像。这些方法不仅提升了去噪性能，还增强了网络对复杂噪声分布和图像特征的适应能力，展示了GCNs结合其他方法在去噪技术中的巨大潜力和多样化应用。
表3提供了GCNs和其他方法相结合用于图像去噪的总结：
2.1.3 Network Optimization Methods for Image Denoising
图卷积网络及其改进方法在图像去噪中的应用中，通过持续优化和创新展示了其显著的优势。
Jiang等人的AGPNet通过新颖的图构建方法和k近邻算法捕捉像素和补丁级别的长距离依赖；Eliasof等人的PDE-GCN结合偏微分方程解决过度平滑问题，提高了模型的泛化能力和去噪效率；Hattori等人提出的双图卷积网络方法在网格去噪中表现出色，避免了对大规模数据集的依赖。
Fu等人的双图卷积网络通过建模和推理全局关系，展示了处理全局空间和通道间关系的强大能力。这些优化和创新不仅提升了去噪技术的性能，还拓展了GCN在去噪应用中的适用范围。
表4提供了GCNs网络改进方法用于图像去噪的总结：
2.2 图卷积神经网络用于图像超分辨
2.2.1 GCNs and Improved Methods for Image Super-Resolution
图卷积神经网络在图像超分辨率任务中展现了强大的全局关系捕捉能力，各种基于GCN的方法被提出以提高超分辨率性能。
Yang等人提出的CASGCN方法结合通道注意力和空间图卷积，有效捕捉图像的通道和空间信息，显著提升超分辨率性能。
Yan等人的SRGAT方法使用图注意力网络优化单张图像的超分辨率，在多个数据集上表现出色。
Yang等人还提出了空间图卷积网络（SGCN），通过深层或宽层网络结构捕捉图像的全局特征，并通过残差特征精炼模块（RFRM）和空间图注意（SGA）进一步增强特征表示。这些方法展示了GCN在图像超分辨率任务中的多样化应用和优越性能。
表5提供了这部分的总结：
2.2.2 GCNs Combine with Other Methods for Image Super-Resolution
图卷积神经网络在图像超分辨率任务中，通过与传统卷积神经网络（CNNs）和其他技术的结合，形成了高效的创新解决方案。
Zhang等人提出的CRAN网络结合了GCNs和CNNs，用于提取和处理图像的上下文信息，显著提升了图像分辨率和细节质量。Tian等人的DSRNet通过多种增强模块提高了图像超分辨率的性能、时间和复杂度。
Liu等人提出的CEGCN框架结合了CNNs和GCNs，用于高光谱图像分类，生成互补的光谱-空间特征，解决了数据表示结构不兼容的问题。
此外，Liu等人提出的RAN网络采用对比学习策略，利用RAM模块捕捉潜在的退化表示，提升了遥感图像的超分辨率性能。这些方法展示了GCNs结合其他方法在图像超分辨率任务中的巨大潜力和多样化应用。
表6提供了GCNs和其他方法相结合用于图像超分辨的总结：
2.2.3 Network Optimization Methods for Image Super-Resolution
通过对图卷积神经网络的持续优化和创新，最近的研究结果显示了其在图像超分辨率领域的显著应用优势。
Xu等人提出的方法通过将特征图转换为图节点并使用图卷积进行特征合成，实现了图像复原任务中的显著性能提升。
Zhang等人提出的超级令牌交互网络（SPIN）通过超级像素聚类和注意机制提高了模型的解释性和效率，而Li等人的SRDiff模型通过引入残差预测加速了收敛速度。
Liu等人改进了图卷积网络（IGCN）和区域关系构建模块（RRMB），提升了面部表情修复的性能。
Yue等人则通过使用GCNs解决视频超分辨率中的全局时空特征精炼问题，展示了GCNs在视频内容分析中的强大潜力。
这些研究表明，GCNs及其优化方法在提高图像超分辨率、去模糊和视频处理任务中的性能方面具有重要意义和有效性，通过这些创新方法，研究人员能够解决高计算成本、低效率和缺乏可解释性等挑战，为未来的图像处理技术开辟了新的途径。
表7总结了这部分的内容：
2.3 图卷积神经网络用于图像去模糊
2.3.1 GCNs and Improved Methods for Image Deblurring
图卷积神经网络及其改进方法在图像去模糊中的应用中，Liao等人提出了RAAD-Net，通过粗去模糊和精细去模糊两个阶段来处理不同类型的图像模糊，利用注意力机制识别模糊区域并采用GCNs建模，从而提高去模糊效果。
Chen等人提出了一种基于合成孔径雷达（SAR）和光学数据融合的云层去除方法，利用残差模块、图注意网络和基于图的特征聚合机制，有效去除光学图像中的云层。
Shen等人研究了GCNs在遥感数据处理中的应用，能够捕捉非局部、自相似模式，适合处理多模态数据，并恢复更多的纹理细节。
表8总结了这部分的内容：
2.3.2 GCNs Combine with Other Methods for Image Deblurring
在图像去模糊领域，图卷积神经网络及其改进方法展示了显著的应用效果。
Liao等人提出了RAAD-Net，通过粗去模糊和精细去模糊两个阶段处理不同类型的图像模糊，利用注意力机制识别模糊区域并采用GCNs建模，提升去模糊效果。
Chen等人提出了一种基于合成孔径雷达（SAR）和光学数据融合的云层去除方法，利用残差模块、图注意网络和基于图的特征聚合机制，有效去除光学图像中的云层。
Shen等人研究了GCNs在遥感数据处理中的应用，能够捕捉非局部、自相似模式，适合处理多模态数据，并恢复更多的纹理细节。
表9提供了GCNs与其他方法结合在图像去模糊方面的总结：
2.3.3 Network Optimization Methods for Image Deblurring
近年来，图卷积神经网络在图像去模糊领域的应用得到了显著优化。
Liu等人提出了一种基于改进图卷积网络（IGCN）的面部表情修复方法，通过区域关系构建模块（RRMB）和IGCN优化特征提取。
Eliasof等人引入了基于偏微分方程的图神经网络架构（PDE-GCNs），提高了图网络处理的效率和理论性，尽管主要解决的是过度平滑问题，但在图像去模糊任务中也具有潜在应用。
Xu等人将特征图转换为图节点并使用图卷积进行特征合成，显著提升了图像复原任务中的性能。
表10总结了这部分内容：
2.4 大语言模型和图卷积神经网络结合用于图像去模糊
近年来，人工智能领域的大型语言模型（LLMs），如GPT-3和BERT，在自然语言处理任务中表现出色。将LLMs与GCNs结合，为增强图像复原任务提供了有前景的方法。
LLMs可以通过以下几种方式为图像复原做出贡献：
上下文理解：LLMs擅长理解和生成复杂的上下文信息。当与GCNs结合时，LLMs可以帮助解释图像内容的高层次上下文信息，更有效地指导复原过程。
多模态学习：LLMs可以促进跨模态学习，弥合文本和视觉数据之间的差距。通过结合与图像相关的文本描述或注释，LLMs可以提供GCNs利用的额外上下文，从而提高复原精度。
特征提取：LLMs可以从文本数据中提取语义特征，这些特征可以补充GCNs从图像数据中提取的结构特征，增强图像复原模型的整体性能。
传统的图像复原任务通常为特定类型设计，难以推广处理多种退化或未知场景，并且缺乏与用户的交互性，限制了其适用性和灵活性。
Jin等人提出了基于多模态大型语言模型的图像复原助手（LLMRA），使用预训练的多模态语言模型如IDEFICS生成图像退化文本描述，通过CLIP编码并通过上下文增强模块（CEM）进行退化，利用基于上下文的Transformer（DC-former）将这些上下文整合到复原网络中，实现更准确和可调的图像复原。
Wei等人提出的Clarity ChatGPT系统结合ChatGPT的对话智能和多种图像复原与增强方法，自动检测退化类型、选择适当方法，并根据用户反馈迭代生成满意的结果。
LLMs通过丰富的常识、强大的语义理解和生成能力，能够增强特征提取和对图像退化信息的理解，从而提高复原的准确性和可调性，表11总结了这部分内容：
3 实验结果
3.1 数据集
训练数据集：BSD500、Urban100、Set12、SIDD、DIV2K、CBSD68、Rain100L/H、Rain800、Set5、Set14、B100、Urban100、Visionair。
测试数据集：Rain12、Rain200L/H、DDN-Data、DID-Data、Rain800、SPA-Data、Set5、Set14、BSD100、Urban100、Manga109。
3.2 GCNs for Image denoising
3.3 GCNs for Image Super-Resolution
3.4 GCNs for Image Deblurring
4 讨论
图卷积神经网络在图像恢复领域的应用越来越普遍。本文为读者提供了这些技术的简洁介绍，以帮助他们理解涉及的方法。
在本节中，我们将进一步探讨GCNs可用于图像恢复的潜在领域，并突出在此背景下的一些未解决的问题。
4.1 图卷积神经网络用于图像复原的潜在研究点：
优化GCN结构提高修复效果；
融合多种模态信息提升准确性；
在复杂场景中改进图像修复；
设计适用于资源受限设备的轻量级GCN；
结合GCN和CNN提高特征提取效果；
使用无监督学习减少对标注数据的依赖；
利用GCN实现跨领域的图像修复；
集成大型模型解决复杂图像问题。
4.2 图卷积神经网络用于图像复原的挑战：
构建反映图像内容的有效图结构；
大规模图像处理需要高计算成本；
GCN难以从原始数据中提取特征；
提升GCN的泛化能力和适应性；
难以获取高质量训练数据。
5 结论
本文全面比较和总结了图卷积神经网络在图像恢复领域的应用，包括其技术框架、主要方法种类、在图像去噪、超分辨率和去模糊方面的应用，并通过比较分析评估了不同网络的表现。
同时，文章还探讨了GCN在图像恢复中的新方向和挑战，如处理复杂图像、提高模型的泛化能力和适应性，以及应对移动和边缘设备上的运行需求，指出了未来研究的潜在领域和需要解决的紧迫挑战。
END
欢迎加入「图像修复」交流群👇备注：修复
1962
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
