论文解读6——Semi-Supervised Classification With Graph Convolutional Networks（GCN）

最新推荐文章于 2024-04-11 11:07:33 发布
最新推荐文章于 2024-04-11 11:07:33 发布
阅读量674 收藏 12
点赞数 2
分类专栏： 论文解读 文章标签： 深度学习 算法 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47133012/article/details/125685258
版权

目录

最近想学习一下图神经网络，发现了这篇关于图卷积的文献，初读的时候发现里面涉及了很多没学过的数学理论，于是又去恶补了一下度矩阵、邻接矩阵、拉普拉斯矩阵、图傅里叶变换、谱图理论到底是什么东西，把能看懂的部分整理如下

在这里插入图片描述

1、文章贡献

提出了一种基于图结构的半监督学习方法GCN，解决CNN无法处理不规则数据的问题，通过谱图卷积的局部一阶近似将卷积操作应用到图结构等不规则的数据中进行半监督分类。

2、数学理论

2.1 图

图表示为G=(V，E)，其中V为顶点，E为边。图表示为数据之间的关系，根据节点的边是否有方向可分为无向图和有向图。（该篇文献GCN是基于无向图，因为拉普拉斯矩阵在无向图中是对称的，才可以特征分解）

2.2 邻接矩阵

邻接矩阵表示节点之间的关系，其中无向图的邻接矩阵是对称阵。通俗来讲，节点之间有连接关系，邻接矩阵中对应元素就为1，否则为0

2.3 度矩阵

度矩阵是一个对角矩阵，对角线元素为对应节点连接边的数量，即邻接矩阵对应行元素求和

2.4 拉普拉斯矩阵

拉普拉斯矩阵L＝度矩阵D-邻接矩阵A

  • 普通的拉普拉斯矩阵
    在这里插入图片描述
  • 对称归一化的拉普拉斯矩阵
    在这里插入图片描述
    在这里插入图片描述
  • 例
    在这里插入图片描述

2.5 图傅里叶变换

傅里叶变换理论太复杂了，这里就通俗地讲讲图傅里叶变换的理解。
一句话概括图傅里叶变换就是：将空域的信号通过图傅里叶变换到频域中，与卷积核进行相乘后，将结果逆变换回空域中。（相当于在空域中进行了卷积，因为空域不能直接对图结构数据卷积）

3、GCN算法原理

GCN是谱图卷积的一阶局部近似，仅依赖距离中心节点k步距离之内的节点，每个卷积层处理一阶邻域信息，通过堆叠多个卷积层实现处理多阶邻域信息。

  • 传播公式
    在这里插入图片描述

推导

  • 谱图卷积： 将拉普拉斯矩阵对称归一化后分解得到的特征向量作为傅里叶变换的基，通过傅里叶变换将输入信号变换到频域，与卷积核相乘后将结果逆变换回空域（其中卷积核是拉普拉斯矩阵的特征值组成的对角阵）——特征分解计算复杂度大
  • 改进： 针对上述计算复杂度问题，用切比雪夫多项式进行k阶逼近来改进卷积核，阶数由原来的n降为k，减少计算复杂度
  • GCN简化： 在以上基础上进一步将切比雪夫多项式做一阶近似并进一步简化参数得到最终GCN模型
    在这里插入图片描述

4、实验

  • 跟先前其他baseline进行对比
    在这里插入图片描述
  • 将谱图卷积每一步推导过程分别实验比较
    在这里插入图片描述
  • 附录中提到将未经训练的随机初始化的三层GCN应用在一个俱乐部网络中，提取的特征也已相当优秀
    在这里插入图片描述
  • 当对每个类使用一个标签训练后，迭代过程实现了类别分离
    在这里插入图片描述
  • 尝试更深层数并考虑残差连接，发现GCN最好的效果在2、3层，而且超过7层之后如果不使用残差连接会使训练变得困难，层数过多会出现过平滑和过拟合的问题
    在这里插入图片描述

关于过平滑的问题在这篇2018年的《Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning》中有给出证明

  • 首先定义一个拉普拉斯平滑函数（其中γ位于0到1之间控制自身节点和邻居节点之间的权重）
    在这里插入图片描述
    将函数表示成矩阵的形式
    在这里插入图片描述
    令γ=1 即只考虑邻居节点的特征，并将归一化的拉普拉斯矩阵替换为对称后得
    在这里插入图片描述
    即：图卷积是拉普拉斯平滑的特殊形式
    通过一次平滑可以让同类的节点特征变得相似，从而容易分类
  • 但是层数过深会出现过平滑现象，最后所有特征收敛到同一个值，导致分类困难
    在这里插入图片描述

5、GCN局限

1、内存需求大，很难应用在大图上
2、基础GCN基于的无向图，无法捕捉节点外的边缘信息
3、邻接矩阵添加自环时假设各节点同等重要，没有考虑不同权重
4、GCN在层数过深时会出现过平滑问题，导致分类困难

对流层的酱猪肘
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
abrams90的专栏
12-02 962
Abstract 本文提出了一种基于卷积神经网络的可扩展半监督学习方法，该方法可以直接对图进行学习。我们通过图卷积的局部一阶近似来进行卷积结构的选择。我们的模型在图边缘数量上线性扩展，并且学习了编码局部图结构和节点特征的隐层表示。在引用的网络和知识图数据集上的大量实验表明，我们的方法比相关方法有显著的优势。 1、Introduction 我们考虑在图(如引用网...
Semi-supervised classification with graph convolutional networks
BUPT-WT的博客
01-27 3705
研究意义: 1、在拓扑图中 可以有效的提取空间特征 2、拓扑图中每个顶点的相邻顶点数目可能不同，所以不能用同样大小的卷积核进行卷积操作 本文主要结构如下所示: 一、Abstract 提出将卷积操作应用到图上，通过图频域的近似分析来建模学习图的局部结构和结点特征。 二、Introduction 介绍图上结点分类的半监督问题，通过神经网络学习结点的表式，半监督定义loss function ，提出了图上神经网络传播规则并将其与图频域分析联合起来 三、Fast Approxima...
3.《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》论文理解
moster.YC的博客
04-11 363
在《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》 中，作者对《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》作出了改进，提出了以下创新： （1）提出了一个可以直接在图上操作的神经网络模型的逐层传播规则；...
Semi-supervised Classification with Graph Convolutional Networks
tszupup的博客
04-20 840
今天准备在所里分享的文章，GCN的提出论文，2017年发表在ICLR上，目前（截止到2019/4/20）在谷歌学术上被引用了近1000次。 ...
Semi-Supervised Classification with Graph Convolutional Networks
deye1979的专栏
05-02 534
Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional networks."arXiv preprint arXiv:1609.02907(2016). 作者对Convolutional Neural Networks on Graphs w...
[GCN] 代码解析 of GitHub：Semi-supervised classification with graph convolutional networks
01-21
本文解析的代码是论文Semi-Supervised Classification with Graph Convolutional Networks作者提供的实现代码。 原GitHub：Graph Convolutional Networks in PyTorch 本人增加结果可视化 (使用 t-SNE 算法) 的GitHub...
semi -supervised classification with graph convolutional networks学习必记
01-07
当K=1 时有两个参数,模型scales linearly in the number of graph edges ,同时可以表征局部图结构和节点的特征： 3. 半监度节点分类模型 本文模型优缺点 WlW^lWl在各个顶点共享，与顶点个数无关，可以用于大...
论文研究-Pointwise Manifold Regularization for semi-supervised classification.pdf
08-16
在论文研究中，作者汪云云和沈雅婷提出了一种新的半监督学习方法，该方法特别强调了通过点状流形正则化提升分类性能。他们的研究不仅在理论层面对半监督学习框架进行了扩展，而且通过实验验证了新方法的有效性。通过...
2019-ICLR-Confidence-based Graph Convolutional Networks for Semi
08-08
【关键词】：图卷积网络（Graph Convolutional Networks）、GCN、置信度、半监督学习（Semi-Supervised Learning）、深度学习、神经网络 【核心概念解析】： 1. **图卷积网络（Graph Convolutional Networks, GCNs...
Label Efficient Semi-Supervised Learning via Graph Filtering.pdf
08-09
Experiments on various semi-supervised classification tasks on four citation networks and one knowledge graph and one semi-supervised regression task for zero-shot image recognition validate our fi...
Semi-Supervised Classification With Graph Convolutional Networks
I‘m Frank Lee
11-09 3337
图卷积网络的半监督分类 提升了图卷积的性能，使用切比雪夫多项式的1阶近似完成了高效的图卷积架构。原文链接：Semi-Supervised Classification with Graph Convolutional Networks. Kipf & Welling 2017 一开始就提出， 2Fast Approximate Convolutions On Graphs 介绍基...
【[GCN]semi-supervised classification with graph convolutional networks】
weixin_45840199的博客
02-10 702
提出了一种可扩展的图结构数据的半监督学习方法，该方法基于直接在图上操作的卷积神经网络的有效变体。通过光谱图卷积的局部一阶近似来激发我们的卷积体系结构的选择。我们的模型在图边的数量上呈线性扩展，并学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集上的许多实验中，我们证明了我们的方法显著优于相关方法。
图卷积网络 Semi-supervised Classification with Graph Convolutional Networks
最新发布
chumingqian的博客
04-11 241
namedGCN.在这篇文章中，我们将仔细研究一个名为 GCN 的著名图神经网络之一。首先，我们将获得直觉，看看它是如何工作的，然后我们将更深入地了解它背后的数学原理。
图卷积网络之Semi-supervised Classification with Graph Convolutional Networks
画心
03-02 4014
Semi-supervised Classification with Graph Convolutional Networks 文章是一片使用谱图卷积的一节近似方法简化一种有效的卷积神经网络的直接应用在图上的变体, 实现对于图结构数据的半监督学习,  We motivate the choice of our convolutional architecture via a loc...
【图卷积网络】Semi-Supervised Classification with Graph Convolutional Networks
扬帆·启航
03-16 2855
将卷积扩展到图结构的数据中，能够得到比较好的数据表示，并且在半监督任务中也取得了不错的效果。
Kipf-GCN《Semi-Supervised Classification With Graph Convolutional Networks》论文详解
November、Chopin
10-05 1312
Kipf-GCN《Semi-Supervised Classification With Graph Convolutional Networks》论文详解
[解读] Semi-Supervised Classification with Graph Convolutional Networks
天在那边
06-06 567
作者受到谱图卷积的局部一阶近似的启发, 提出一种可扩展的图卷积网络, 可用于具有图结构数据的半监督学习. 论文链接: https://arxiv.org/abs/1609.02907v4 相关工作 本文考虑节点分类的半监督问题, 即所有节点中只有一部分的标签是已知的. (Zhu et al., 2003; Zhou et al., 2004; Belkin et al.,2006; Weston et al., 2012) 等提出的方法, 标签信息通过某种显式的正则化基于图的正则化项来表达, 并且标签 信
【GCN】SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
NaNianSuYan的博客
04-26 702
阅读论文时查找到的一些觉得有用的资料，整理收集，方便以后参考。 论文地址： Semi-Supervised Classification with Graph Convolutional Networks 1：CNN与GCN的联系与区别 知乎地址：从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi） 简书：浅析图卷积神经网络 2：论文原理翻译前3章：图卷积神经网络的半监...
semi-supervised classification
06-28
### 回答1： 半监督分类是指利用同时带有标记和未标记数据的分类方法。这种方法旨在利用未标记数据来帮助提高分类器的性能，从而减少需要标记数据的数量。通常，半监督分类通过利用未标记数据的分布信息来构建分类器，并且这种方法在许多实际应用中都取得了很好的结果。 ### 回答2： 半监督分类，是指利用一部分数据进行有监督学习，以此来提高整个数据集的分类性能的方法。相较于全监督学习，半监督学习允许在训练过程中使用未标记的数据，只需要有一定数量的标记数据就可以实现高效的分类任务。 半监督分类的基础是“同分布假设”，即未标记的数据与标记数据属于同一分布。该假设基于一个假设性的结果：在标记和未标记的数据中，存在一些潜在的相似性。由此，使用未标记数据训练模型应当能够提高分类性能。 半监督分类主要有两种方法，主动学习和自我训练。主动学习依靠人类专家指导，根据样本的不确定性选择新的样本添加到训练集中，从而提高整体的性能。自我训练则是从已标记的样本中训练分类器，然后将分类器应用于未标记的样本，将那些分类器能够高置信度的样本添加到已标记集合中，不断迭代以提高性能。 半监督分类的应用广泛，特别是在文本分类、图像分类、目标检测等领域中。由于标记数据的难以获取和昂贵的成本，半监督分类显得尤为重要。它不仅能够提高分类性能，而且提高了数据利用效率。虽然使用未标记的数据可能会带来一定的风险，但正确地使用半监督分类方法将提高训练效果，并使其比单纯的有监督学习更加稳健和可靠。 ### 回答3： 半监督分类（Semi-supervised Classification）是一种机器学习中的作业，它使用一小部分有标签的数据和大量未标记的数据来训练模型，从而进行分类。半监督分类主要是因为标记数据很昂贵或难以获取，因此利用未标记的数据来增强模型的学习能力。 通过半监督分类算法，可以把未标记的数据加入到模型训练过程中，从而提高模型的准确性和分类效果。在半监督分类中，未标记数据的利用对于模型的效果至关重要。因此，需要使用一些优秀的技术来处理未标记数据，例如半监督学习常用的技术，包括基于图的算法、核方法、自编码器等等。 半监督学习的优点是可以使用很少的有标签数据来训练模型，从而节省时间和成本。此外，半监督学习还可以提高模型的复杂性，从而提高模型的泛化能力。在实际应用中，半监督学习算法已经得到广泛应用，例如图像分类、文本分类、视频分类等等。 总之，半监督分类是一种重要的机器学习技术，通过利用未标记的数据来提高模型的学习能力，从而提高模型的准确性和分类效果。未来半监督学习算法还将得到越来越广泛的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值