IGNN图卷积超分网络：挖掘隐藏在低分辨率图像中的高清纹理

最新推荐文章于 2024-09-22 16:33:48 发布

我爱计算机视觉

最新推荐文章于 2024-09-22 16:33:48 发布

阅读量2.3k

点赞数 3

文章标签：网络计算机视觉人工智能深度学习机器学习

本文转载自商汤泰坦公开课。

摘要 · 看点

在NeurIPS 2020上，南洋理工大学、商汤和哈工大研究员联合提出了跨尺度的图卷积超分网络IGNN。近些年来，Non-local方法利用同尺度的自相似性先验在图像复原任务中取得了一些突破，如图片去噪。但对于图像超分辨任务，相同低分辨率（LR）的相似图像块融合无法让网络直接感知更高分辨率（HR）的图像纹理。

针对上述问题，本文利用图像内部纹理跨尺度多次复现的特性找到与LR图像块对应的k个HR图像块，并动态地构建了LR-HR块的连接图。基于该连接图，IGNN利用图卷积自适应地融合k个HR图像块，从而使图像内部高清纹理信息在超分中得到充分利用。IGNN在五个公开数据集上的性能表现均有显著提升。

论文名称: Cross-Scale Internal Graph Neural Network for Image Super-Resolution

Part 1

Non-local方法在图片超分辨中存在的问题

自然图像中的Non-local自相似性是一种非常有效的先验信息，在图像复原问题中一直广受关注，比如Non-local means、BM3D等图像去噪方法。该类方法的基本思想是利用非局部的多个相似块信息融合达到更好的复原效果。

近几年，随着深度神经卷积网络（CNN）在图像复原领域的发展，多种变型的Non-local模块被设计出来并嵌入到复原网络框架中，如下图中的Non-local模块（a）和神经KNN模块（b）。

在引入Non-local模块之前，由于卷积操作的局部性，CNN网络对图像的感知范围受限于其感受野的大小，很难感知到非局部的图像相似性。

另外，CNN网络往往通过大量外部数据训练获得图像复原的能力，忽略了对当前图像内部纹理信息的挖掘和利用，因此对特定图片中unseen的纹理复原效果较差。Non-local模块的引入在一定程度上解决了以上两个问题，通过感知非局部图片自相似性，对图片内部相似纹理进行自我加权（self-attention），从而进一步提升复原网络的性能。

但是，当前Non-local的网络模块仅探索了同尺度的相似图像块，对于图像超分辨问题，无法提供跨尺度的高清纹理信息，因此仍需对其做进一步改进。

图像超分辨的目的是将低分辨率（LR）图像映射到高分辨率（HR）图像，同尺度相似块的融合很难让网络获取到高清的纹理信息，因此作者直观地想到了下图中展示的解决方案，即设计一个新的Non-local模块，使其能够跨尺度地融合高清相似块。

该方案存在两个关键问题：a. 怎么准确地找到这些对应的高清块？b. 怎么合理地融合这些高清块？本文方法介绍部分将为大家解答这两个问题。

Part 2 方法介绍

针对以上两个问题，作者结合图卷积提出了一个新颖的跨尺度Non-local聚合模块，如下图所示。这一部分，首先介绍了自然图像中“图像块跨尺度复现”（cross-scale patch recurrence）的性质，然后介绍图卷积聚合模块如何找到并融合多个高清块，最后将介绍跨尺度图卷积超分网络的网络结构和实现细节。

1. 图像块跨尺度复现

根据上述分析，跨尺度聚合模块设计成功的前提是自然图像中内部确实存在多个高清块。早在2011年，Irani等研究员就已经发现“图像块跨尺度复现”的性质，即在一张自然图像中，不同尺度的相似图像块会大量重复出现。如下图(a)所示，不同尺度的窗子会同时出现在一个图片里，因此大尺度窗子可以帮助小尺度窗子进行超分复原。可能有人会问，这个例子会不会太特殊了？

实际拍摄图像中往往不会存在这么多重复的图像块。此处的举例只是为了便于大家理解，真实算法中考虑的图像块非常小，往往只是很小的重复纹理repetitive texture、边edge或角corner，所以图像块跨尺度复现”的性质对于任何一般图片都是成立的，感兴趣的同学可以查看这篇论文 [Zontak and Irani, Internal statistics of a single natural image, CVPR 2011]。

2. 图卷积聚合

依据上述特性，作者提出了非局部图卷积聚合模块（GraphAgg），巧妙地为每个低清（LR）图像块找到k个高清（HR）图像块近邻，并构建出LR-HR的连接图，进而将k个HR的纹理信息聚合到LR上，帮助图像超分复原。上图(b)、(c)给出了GraphAgg模块的示意图。

搜索k个高清块：和同尺度k近邻搜索不同，跨尺度近邻搜索没法直接在原图上进行图像块匹配。为了找到K个HR块，作者首先将原图像下采样s倍，对于原图中每个LR查询块（蓝色），从下采样的图像中通过块匹配搜索出k个LR近邻块（灰色）。

然后通过尺度映射将k个LR近邻区域映射到原来图片的尺度，由此得到k个HR近邻块。作者用图（Graph）建模了LR和HR的跨尺度关联，将每个图像块看成一个顶点，每条边代表LR和HR块直接的相似性。如此一来，一个LR-HR的连接图就建立起来了。

高清块聚合：基于构建的LR-HR连接图，作者提出了一种自适应的高清块聚合方法，即根据LR和HR块的相似性定义该条边的聚合权值。其公式如下：

其中表示第r个近邻HR块，代表可学习的自适应加权网络，该加权网络有效地抑制了低相似度图片块的影响。

自适应图像块归一化（AdaPN）：作者观察到，通过GraphAgg模块得到的近邻HR图像块和查询LR图像块在特征低频信号上会存在不一致，如颜色、亮度等。

因此，除了上述自适应加权外，作者受AdaIN的启发，提出了针对图片块的自适应归一化操作（AdaPN），实现近邻HR块和查询LR块的低频信号对齐。AdaPN可表示为：

通过AdaPN归一化，可以使近邻HR图像块的低频信息迁移对齐，但同时保持其高频纹理信息不变。

3. 跨尺度图卷积超分网络

基于以上提出的图卷积聚合模块GraphAgg，作者提出了跨尺度图卷积超分网络IGNN，如下图所示。该网络以EDSR为主干网络，将GraphAgg模块插入到EDSR的中间位置以进行跨尺度高清块聚合，聚合得到的高清特征通过跨尺度的Skip连接可以直接传递到后面高尺度网络层，使得网络可以直接感知到隐藏在图片特征内部的高清纹理。具体的实现细节请查看原文和补充材料。