模糊神经网络代码_图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...

最新推荐文章于 2023-02-07 14:02:58 发布

weixin_39643336

最新推荐文章于 2023-02-07 14:02:58 发布

阅读量255

点赞数

文章标签：模糊神经网络代码

编辑：Happy
首发：极市平台
日期：2020-07-02

paper: https://arxiv.org/abs/2006.16673

code: https://github.com/sczhou/IGNN（尚未开源）

【Happy导语】该文可能是首次提出将图神经网络嵌入到图像超分领域中，其实它也是图像块自相似性的一种应用，之前笔者分享过类似的方法(采用卷积方式进行块相似性搜索)，而这篇论文则是采用图神经网络搜索块相似性。这种块相似性搜索技术与传统方法中的搜索比较类似，可谓是传统方法与深度学习相结合的又一个进展。对图像复原方向感兴趣的小伙伴可以关注一下这篇论文。

图数据一直就是机器学习领域里最重要的数据结构。与图像数据和文本数据相比，神经网络在图数据上的大规模应用最近几年才大量出现，然而已经呈现出井喷的趋势，在学术界和工业界都产生了巨大的影响。想要系统掌握的话，不仅要知道原理，更要懂得代码细节，以及亲手实战具体项目，了解近年来来一系列模型的发展脉络。想要全面地学习这些知识点的话，可以学习 bienlearn 上的图神经网络专栏。

这个图神经网络专栏由大厂高级算法工程师丁雨山&彬斌主笔，帮助新手以及有一定基础的同学快速入门图神经网络，既包括原理、代码的解读，还有对图网络底层设计思想的理解与项目实操。不管是准备面试、项目实战还是比赛刷分，都可以找到对应的内容。

目前在限时优惠，更详细的内容大家可以点击下方卡片查看

Abstract

自然图像中的非局部自相似性时一种非常有效的先验信息，在传统图像处理中被广泛研究与应用，比如非局部均值、BM3D等图像降噪方法以及基于Self-Similarity图像超分和图像去模糊等等。然而该非局部自相似性在深度学习领域却鲜少见诸于研究，现有深度非局部方法仅仅探索了同尺度的相似块，因此图像复原的性能会受限于同尺度信息的有限性，而其他尺度的信息可能包含更多有用的信息。

该文作者对自然图像中的跨尺度块相似块(即相似块可能出现在图像的不同尺度)进行探索，并提出一种新颖的Internal Graph Neural Network进行跨尺度的相似块探索，作者构建了一种跨尺度图用于为LR图像中的块搜k近邻相似块，得到k个HR近邻块并采用自适应集成方式进行信息汇聚。因此，HR信息可以通过k个HR近邻块传递给LR图像块并辅助图像纹理细节复原。

最后，作者通过实验证实了所提方法的SOTA性能。

Method

在这部分内容中，首先介绍一下已有非局部方法的广义形式，然后所提到的跨尺度图汇聚模块，最后介绍所提出的快尺度图像神经网络(IGNN)。

Background

非局部汇聚策略被广泛应用于图像复原领域，比如非局部均值和BM3D采用非局部相似性属性进行图像降噪。在深度学习领域，非局部神经网络与k近邻网络被提出用于探索图像的非局部自相似性。非局部块的汇聚过程可以描述为：

如果我们将特征块以及加权连接视作定点与边的话，上述过程可以视作GNN。之前已有非局部方法进行通尺度相似性探索，但是通尺度相似性对于图像超分的性能提升极为有限。

Cross-Scale Graph Aggregation Module

在已有的非局部深度学习方法中，特征块的大小往往相同。尽管它们在图像降噪方面表现良好，但是它难以获取高分辨率信息，对于超分的性能提升极为有限。考虑到自然图像的块自相似性会跨尺度出现，作者提出一种跨尺度图像神经网络。下图给出了跨尺度图汇聚模块示意图。

对于LR中的每个查询块(图中黄色框)，从下采样图像中搜索k个最相似块并进行对应的HR块信息汇聚。跨尺度块的连接可以通过图方式进行建模，每个特征块是一个定点，边用来衡量块之间的相似性。下图给出了本文所提出的GraphAgg模块示意图，它包含两个操作：Graph Construction与Patch Aggregation。