图神经网络/GCN 入门

跳出公式，看清全局，图神经网络（GCN）原理详解

GCN (Graph Convolutional Network) 图卷积网络解析

Graph Convolution Network图卷积网络（一）训练运行与代码概览
Graph Convolution Network图卷积网络（二）数据加载与网络结构定义
Graph Convolution Network图卷积网络（三）嵌入其他网络结构

AAAI 2020：速读8篇图神经网络论文，附下载

用GCN来做图像处理，怎么建立像素之间的边，以及边上的权重。

图像处理（四）图像分割(2)测地距离Geodesic图割
原文：Geodesic Matting: A Framework for Fast Interactive Image and video segmentation and matting
算法原理：基于测地距离的图像分割属于一种图论的分割算法。图论分割算法：即把图像上的每个像素点当做图的顶点，图的每个顶点有四个邻接顶点（每个像素点有四个邻接像素点，除边界点），每两个邻接像素点用相应的边连接，边的长度与两个像素点间的相似度有关（测地距离），而非采用简单的欧式距离作为边长（相邻像素点间的欧式距离为1）

基于图论的图像分割

基于图论的分割方法

此类方法把图像分割问题与图的最小割（min cut）问题相关联。首先将图像映射为带权无向图G=<V，E>，图中每个节点N∈V对应于图像中的每个像素，每条边∈E连接着一对相邻的像素，边的权值表示了相邻像素之间在灰度、颜色或纹理方面的非负相似度。而对图像的一个分割s就是对图的一个剪切，被分割的每个区域C∈S对应着图中的一个子图。而分割的最优原则就是使划分后的子图在内部保持相似度最大，而子图之间的相似度保持最小。基于图论的分割方法的本质就是移除特定的边，将图划分为若干子图从而实现分割。目前所了解到的基于图论的方法有GraphCut、GrabCut和Random Walk等。
还有一篇2010年文献《Geodesic graph cut for interactive image segmentation》结合了graph cut 算法和测地距离分割算法的优点，把两种算法结合起来，可克服两种算法存在的缺陷。

用图神经网络来处理图像

NeurIPS 2020 | IGNN图卷积超分网络: 挖掘隐藏在低分辨率图像中的高清纹理
在NeurIPS 2020中，南洋理工大学、商汤和哈工大研究员联合提出了跨尺度的图卷积超分网络IGNN。近些年来，Non-local方法利用同尺度的自相似性先验在图像复原任务中取得了一些突破，如图片去噪。但对于图像超分辨任务，相同低分辨率 (LR) 的相似图像块融合无法让网络直接感知更高分辨率 (HR) 的图像纹理。

针对上述问题，本文利用图像内部纹理跨尺度多次复现的特性找到与LR图像块对应的k个HR图像块，并动态地构建了LR-HR块的连接图。 基于该连接图，IGNN利用图卷积自适应地融合k个HR图像块，从而使图像内部高清纹理信息在超分中得到充分利用。IGNN在五个公开数据集上的性能表现均有显著提升

Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification —AAAI2020

摘要：多标签图像和视频分类是计算机视觉中最基本也是最具挑战性的任务。主要的挑战在于捕获标签之间的空间或时间依赖关系，以及发现每个类的区别性特征的位置。为了克服这些挑战，我们提出将语义图嵌入的跨模态注意力机制用于多标签分类。基于所构造的标签图，我们提出了一种基于邻接关系的相似图嵌入方法来学习语义标签嵌入，该方法显式地利用了标签之间的关系。在学习标签嵌入的指导下，生成我们新颖的跨模态注意力图。在两个多标签图像分类数据集(MS-COCO和NUS-WIDE)上的实验表明，我们的方法优于其他现有的方法。此外，我们在一个大的多标签视频分类数据集(YouTube-8M Segments)上验证了我们的方法，评估结果证明了我们的方法的泛化能力。

Neural Graph Embedding for Neural Architecture Search —AAAI-2020
作者：Wei Li, Shaogang Gong, Xiatian Zhu
摘要：现有的神经体系结构搜索（(NAS)）方法往往直接在离散空间或连续空间中进行搜索，忽略了神经网络的图形拓扑知识。考虑到神经网络本质上是有向无环图(DAG)，这会导致搜索性能和效率欠佳。在这项工作中，我们通过引入一种新的神经图嵌入(NGE)思想来解决这个限制。具体来说，我们用神经DAG表示神经网络的构建块(即cell)，并利用图卷积网络来传播和建模网络结构的固有拓扑信息。这导致可与现有的不同NAS框架集成的通用神经网络表示。大量实验表明，在图像分类和语义分割方面，NGE优于最新方法。

RoadTagger: Robust Road Attribute Inference with Graph Neural Networks ----AAAI2020
作者：Songtao He, Favyen Bastani, Satvat Jagwani, Edward Park, Sofiane Abbar, Mohammad Alizadeh, Hari Balakrishnan, Sanjay Chawla, Samuel Madden, Mohammad Amin Sadeghi
摘要：从卫星图像中推断道路属性（例如车道数和道路类型）是一项挑战。通常，由于卫星图像的遮挡和道路属性的空间相关性，仅当考虑道路的较远路段时，道路上某个位置的道路属性才可能是显而易见的。因此，为了鲁棒地推断道路属性，模型必须整合分散的信息，并捕捉道路沿线特征的空间相关性。现有的解决方案依赖于图像分类器，无法捕获这种相关性，导致准确性较差。我们发现这种失败是由于一个基本的限制–图像分类器的有效接受范围有限。
为了克服这一局限性，我们提出了一种结合卷积神经网络(CNNs)和图神经网络(GNNs)来推断道路属性的端到端体系结构RoadTagger。使用GNN允许信息在路网图上传播，消除了图像分类器的接收域限制。我们在一个覆盖美国20个城市688平方公里面积的大型真实数据集和一个综合数据集上对RoadTagger进行了评估。在评估中，与基于CNN图像分类器的方法相比，RoadTagger提高了推理的准确性。此外，RoadTagger对卫星图像的中断具有较强的鲁棒性，能够学习复杂的inductive rule来聚合道路网络上分散的信息。