图卷积经典Semi-Supervised Classification with Graph笔记

已于 2024-01-23 20:33:19 修改
阅读量880 收藏 20
点赞数 22
文章标签： 笔记 人工智能
于 2024-01-23 20:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45047473/article/details/135772291
版权
本文详细介绍了GCN模型在train.py中的调用过程，包括参数定义（如nfeat、nhid、dropout），以及图卷积层的结构、权重初始化和前馈运算。重点阐述了如何从contentfile和citesfile中加载数据，构建图并进行归一化处理。
摘要由CSDN通过智能技术生成

一、模型结构定义

1.1调用位置

train.py中调用模型

1.2传入参数

model.py：

  • nfeat为底层节点的参数feature的个数
  • nhid为隐藏层节点个数
  • nclass最终的分类数
  • dropout在训练过程中随机关闭神经元的比例，用于防止过拟合

1.3GCN定义

gcl1输入尺寸nfeat，输出尺寸nhid

gcl2输入尺寸nhid，输出尺寸nclass

1.4网络结构

论文公式：

Z=f(X,A)=\text{softmax}\Big(\hat{A}\text{ReLU}\Big(\hat{A}XW^{(0)}\Big)W^{(1)}\Big).

  • 其中：A是对称邻接矩阵，由如下构造对称性：
adj = adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj)。。

  W0是输入层到隐藏层的权重矩阵，W1是隐藏层到输出层的权重矩阵

代码实现：

adj=A是对称邻接矩阵

二、图卷积层

2.1层初始化定义GraphConvolution

in_features:输入特征那的维度

out_features:输出特征的维度

bias:bool型是否使用偏置项

weigt：可学习的权重矩阵

2.2初始化权重reset parameters

weight或bias.data.uniform_(-stdv,stdv):初始化为均匀分布在(-stdv,stdv)范围内的值,

其中stdv是根据权重大小计算的标准差的倒数，用于确定初始化值的范围。

2.3前馈运算forward

论文中是三个矩阵相乘：

input：输入特征矩阵 adj:邻接矩阵

support：输入特征矩阵和权重矩阵的矩阵乘法，XW

output：邻接矩阵和support的稀疏矩阵乘法，实现图卷积，AXW

如果bias=true，则将其加到输出上

三、加载数据

3.1content file

core数据集，7个类别：

        Case_Based
        Genetic_Algorithms
        Neural_Networks
        Probabilistic_Methods
        Reinforcement_Learning
        Rule_Learning
        Theory

<paper_id> <word_attributes>+ <class_label>

第一列：paper_id,第二系列：词汇表中的每个单词是否出现在该论文中，第三：类别标签

3.2cites file

<ID of cited paper> <ID of citing paper>

前面为被引用论文的id，后面为引用前面的论文id

3.3读取数据

3.3.1content file读取：

构建特征矩阵features：第2列到倒数第2列

对标签进行独热编码labels：选取每行的最后一个元素

3.3.2citesd读取

构建图：根据contecontents与cites创建图，算出edges矩阵和adj矩阵

矩阵定义：

3.3.3运算 symmetric adjacency matrix A （无向性）

论文中的计算方式为：\hat{A}=\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}，

\tilde{A}=A+I_{N}，IN为单位矩阵,表示：加上自连接的邻接矩阵

\tilde{D}_{ii}=\sum_{j}\tilde{A}_{ij}，加上自连接后的节点度数

3.3.4 归一化运算\hat{A}=\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}

Z=f(X,A)=\text{softmax}\Big(\hat{A}\text{ReLU}\Big(\hat{A}XW^{(0)}\Big)W^{(1)}\Big).

论文中的计算方式为：\hat{A}=\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}，

\tilde{A}=A+I_{N}，IN为单位矩阵,表示：加上自连接的邻接矩阵

\tilde{D}_{ii}=\sum_{j}\tilde{A}_{ij}，加上自连接后的节点度数

为啥要对\tilde{A}做归一化？

首先，输入的特征矩阵X 去乘以邻接矩阵A 目的是将节点的邻居特征信息 聚合到中心节点

其次，算AX=F矩阵乘法时，度越大的节点，所求的特征矩阵F的特征就很大（比如D节点）。

但是，特征信息并不一定和度 成正相关，所以要剔除 度的影响，

所以，通过左行右列乘D的逆 对A做归一化

（其实就是A*1/D 求平均的感觉）

代码实现： 

mx.sum(1) 对矩阵每一行元素求和，邻接矩阵每一行的和是 节点的度

np.power(rowsum,-1) 对度取倒数得到归一化因子

r_inv[np.isinf(r_inv)]=0 将任何无穷大的值替换为0，因为有度为0的情况这时除以0导致数值无穷大

r_mat_inv=sp.diags(r_inv) 将归一化因子构建成一个对角矩阵

最后将对角矩阵和原矩阵相乘，进行归一化。

参考Graph Convolution Network图卷积网络（一）训练运行与代码概览_graph convolution layer代码-CSDN博客

谭同学KevinTan
关注
  • 22
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
semi-supervised classification
qq_35405379的博客
05-22 1060
       半监督学习任务主要分为半监督聚类、半监督分类、半监督回归等问题，我们主要针对半监督分类问题。 半监督学习的假设 基于低密度假设       模型的决策边界不应该将该密度区域划分开，而应该处在低密度区域内。 基于平滑化假设       输入空间中，距离相近的两个样本应该有相同的标签。 基于流形假设 &nb
论文翻译：图卷积入门-SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
com_fang_bean的博客
07-23 1452
我们提出了一种可扩展的在图结构数据上进行半监督学习的方法，它基于一种直接在图上操作的卷积神经网络的有效变体。我们通过频谱图卷积的局部一阶近似来激励卷积架构的选择。我们的模型以图形边的数量线性缩放，并学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集的大量实验中，我们证明了我们的方法。 我们考虑对图(如引文网络)中的节点(如文档)进行分类的问题，其中标签只对一小部分节点可用。这个问题可以被框定为基于图的半监督学习，通过某种形式的显式基于图的正则化来平滑图上的标签信息...
全宇宙最详细：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 文中所有的数学公式解析
qq_42902997的博客
10-24 2004
文章目录论文中使用的一些概念和推导CNN 平移不变性Graph 的特征提取操作Graph 卷积的频域卷积方法为什么要求图 G(V, E) 的拉普拉斯矩阵拉普拉斯矩阵和傅里叶变换的关系以下是论文内容ABSTRACTINTRODUCTION 论文中使用的一些概念和推导 可以先自己看论文，遇到公式推导的时候翻上来看这部分就可以 CNN 平移不变性 引文：卷积神经网络为什么具有平移不变性？ 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来 下图只是一个为了说明这个问题的例子。输入图像的左下
Semi-supervised Classfication WITH GRAPH Convolutional Networks 阅读笔记
qq_38296005的博客
11-08 215
Semi-supervised Classfication WITH GRAPH Convolutional Networks（ 基于图卷积网络的半监督分类 ICLR2017）摘要绪论图的快速近似卷积谱图卷积Layer-wise线性模型 摘要 提出一种基于图结构数据的可扩展的半监督学习方法，这种方法是CNN在图结构数据上的一种有效变体，可以对图进行直接操作（即能对图结构进行卷积操作，即将可卷积范围扩展至图这种结构数据）。 通过谱图卷积（spectral graph convolutions）的局部一阶近似
论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
qq_44015059的博客
04-17 2002
前言 本文提出了一种可扩展的基于图数据结构的半监督学习方法，该方法基于一个有效的卷积神经网络变形，这种变形能够直接对图进行操作（卷积层变为了图卷积层）。图结构的数据在现实应用中非常常见，比如: Social Networks, Citation Netwoks, Knowledge Graphs等。 图半监督学习的setting是，在给定的图结构的数据中，只有少部分节点是有标记的，大部分节点是未标...
GCN经典论文笔记：Semi-Supervised Classification with Graph Convolutional Networks
qq_44624316的博客
05-10 5474
GCN开山之作论文解读：《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》
semi -supervised classification with graph convolutional networks学习必记
01-07
采用图卷积中的一阶局部近似（即K=1），这部分的理解可以参考Chebyshev多项式作为GCN卷积核 当K=1 时有两个参数,模型scales linearly in the number of graph edges ,同时可以表征局部图结构和节点的特征： 3. 半...
[GCN] 代码解析 of GitHub：Semi-supervised classification with graph convolutional networks
01-21
本文解析的代码是论文Semi-Supervised Classification with Graph Convolutional Networks作者提供的实现代码。 原GitHub：Graph Convolutional Networks in PyTorch 本人增加结果可视化 (使用 t-SNE 算法) 的GitHub...
论文研究-Pointwise Manifold Regularization for semi-supervised classification.pdf
08-16
点状半监督流形正则化分类学习，汪云云，沈雅婷，流形正则化(MR)是经典半监督分类学习方法，同时利用有标记和无标记样本进行学习。依据流形假设，约束流形结构图上相似样本具有相��
Label Efficient Semi-Supervised Learning via Graph Filtering.pdf
08-09
Graph-based methods have been demonstrated as one of the most effective approaches for semi-supervised learning,astheycanexploittheconnectivitypatternsbetweenlabeled and unlabeled data samples to ...
Graph-Based Semi-Supervised Learning
01-09
In order to adapt to this phenomenon, several semi-supervised learning (SSL) algorithms, which learn from labeled as well as unlabeled data, have been developed. In a separate line of work, ...
Semi-supervised classification with graph convolutional networks
BUPT-WT的博客
01-27 3697
研究意义: 1、在拓扑图中 可以有效的提取空间特征 2、拓扑图中每个顶点的相邻顶点数目可能不同，所以不能用同样大小的卷积核进行卷积操作 本文主要结构如下所示: 一、Abstract 提出将卷积操作应用到图上，通过图频域的近似分析来建模学习图的局部结构和结点特征。 二、Introduction 介绍图上结点分类的半监督问题，通过神经网络学习结点的表式，半监督定义loss function ，提出了图上神经网络传播规则并将其与图频域分析联合起来 三、Fast Approxima...
【论文阅读】Semi-supervised classification with graph convolutional networks
weixin_53563701的博客
08-29 1058
这里是GCN图神经网络论文的阅读笔记、学习过程中有帮助的一些链接等
【GCN】论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
热门推荐
夏至是个程序媛
11-29 4万+
本文为论文SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS的阅读笔记. 文章目录SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS基于图卷积网络的半监督分类摘要一、INTRODUCTION二、Graph中的快速卷积2.1 谱图卷积第一种卷积...
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS个人理解
yuzhijiedingzhe的博客
12-25 1万+
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 总体介绍： 在该篇论文中，作者提出了一种可扩展式的半监督学习卷积神经网络方法处理基于图结构的数据。论文中作者所提出的方法应用的是关于图结构数据中的聚类问题。通过图结构数据中部分有标签的节点数据对卷积神经网络结构模型训练，使网络模型对其余无标签的数据进行进一步分类，从
图卷积网络之Semi-supervised Classification with Graph Convolutional Networks
画心
03-02 3991
Semi-supervised Classification with Graph Convolutional Networks 文章是一片使用谱图卷积的一节近似方法简化一种有效的卷积神经网络的直接应用在图上的变体, 实现对于图结构数据的半监督学习,&amp;nbsp; We motivate the choice of our convolutional architecture via a loc...
semi-supervised models
初学者的博客
04-01 1586
1、生成模型算法（Generate semi-supervised models） 思想如下：假设一个模型，其分布满足：p(x ,y)=p(y) p(x | y)。其中，p(x | y)是已知的条件概率分布。那么大量未经标记数据的联合分布就可以被确定。生成模型算法的流程图如下。半监督学习方法可以对同时含有已标记的和未标记的数据集进行聚类，然后通过聚类结果中，每一类中所含有的任何一个已标记数据实例...
半监督学习semi-supervised
ygp12345的博客
10-19 1044
文章目录半监督学习介绍Semi-supervised Learning for Generative ModelSupervised Generative ModelSemi-supervised Generative ModelLow-density SeparationSelf-trainingEntropy-based RegularizationOutlook: Semi-supervised SVMSmoothness AssumptionCluster and then LabelGraph-b
翻译--SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
w986284086的博客
05-10 1万+
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 图卷积神经网络的半监督学习 原文连接: Semi-Supervised Classification with Graph Convolutional Networks 0. 摘要 We present a scalable approach for s...
Semi-Supervised Classification with Graph Convolutional Networks
最新发布
05-17
Semi-supervised classification with graph convolutional networks (GCNs) is a method for predicting labels for nodes in a graph. GCNs are a type of neural network that operates on graph-structured data...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值