GCN网路详解

最新推荐文章于 2022-11-16 15:28:15 发布
最新推荐文章于 2022-11-16 15:28:15 发布
阅读量1.7k 收藏 10
点赞数 2
分类专栏： Deep Learning 文章标签： 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfectzxiny/article/details/108816603
版权

GCN原理

1 邻接矩阵: A是图的邻接矩阵

2 特征矩阵 设 A 是n阶方阵，如果存在数m和非零n维列向量x，使得 Ax=mx 成立，则称 m 是矩阵A的一个特征值（characteristic value)或本征值（eigenvalue)。
3 度矩阵 D 是顶点的度矩阵（对角矩阵），对角线上元素依次为各个顶点的度，

4 拉普拉斯矩阵

对于图[G=(V,E)其Laplacian 矩阵的定义为L=D-A 其中L是Laplacian矩阵，D是顶点的度矩阵（对角矩阵），对角线上元素依次为各个顶点的度，A是图的邻接矩阵。看图5的示例，就能很快知道Laplacian 矩阵的计算方法。

img

图5 Laplacian 矩阵的计算方法
在这里插入图片描述

为什么GCN要用拉普拉斯矩阵？

拉普拉斯矩阵矩阵有很多良好的性质，这里写三点我感触到的和GCN有关之处

  • 拉普拉斯矩阵是对称矩阵，可以进行特征分解（谱分解），这就和GCN的spectral domain对应上了
  • 拉普拉斯矩阵只在中心顶点和一阶相连（就是直接相连）的顶点上（1-hop neighbor）有非0元素，其余之处均为0
  • 通过拉普拉斯算子与拉普拉斯矩阵进行类比（详见第6节）

superbrother 拉普拉斯矩阵与拉普拉斯算子的关系

GCN的核心基于拉普拉斯矩阵的谱分解。

矩阵的谱分解，特征分解，对角化都是同一个概念
不是所有的矩阵都可以特征分解，其充要条件为n阶方阵存在n个线性无关的特征向量]

但是拉普拉斯矩阵都是半正定对称矩阵（半正定矩阵本身就是对称矩阵，此处这样写为了和下面的性质对应，避免混淆），有如下三个性质：

  • 对称矩阵一定有n个线性无关的特征向量
  • 半正定矩阵的特征值一定非负
  • 对称矩阵的特征向量相互正交，即所有特征向量构成的矩阵为正交矩阵

在这里插入图片描述

5.图卷积神经网络网络 GCN
图卷积神经网络网络 Graph Convolutional Network (GCN) 最早是在 2016 年提
出，2017 年发表在 ICLR 上。GCN 主要是将卷积操作应用到图结构上，如下图所示，
GCN 输入的 chanel 为 C (即节点 Xi 特征向量的维度)，GCN 输出的 chanel 为 F，
即每个节点 (Zi) 的特征向量维度为 F，最后用节点的特征对节点进行分类预测等：
在这里插入图片描述
GCN 卷积示意图

GCN 和 CNN 类似，具有强大的特征学习能力，它们的实质也是类似的，某个点的卷
积可以看成对该点邻居的加权求和。下图为传统的图像 (image) 卷积操作，每个点表
示一个像素，图像的像素也可以看成是一种图 (graph) 结构，相邻的像素之间有边连
接，而卷积是对像素邻居进行加权平均得到的。
在这里插入图片描述

图像 (image) 的二维卷积
而对于图 (graph) 结构，也可以采取类似的方法进行卷积。例如对下图中红色的节点
卷积就等于取其邻居节点进行加权平均。
在这里插入图片描述图 (graph) 结构卷积

GCN 中给出了图卷积的计算公式，如下所示，其中 H(l) 表示节点在第 l 层的特征向
量，H(l+1) 表示经过卷积后节点在第 l+1 层的特征向量，W(l) 表示第 l 层卷积的参
数，σ 表示激活函数。而由矩阵 A、D 组成的部分是一种拉普拉斯矩阵 (Laplacian
matrix)，A+I 中的 I 为单位矩阵，即对角线为 1，其他为 0 的矩阵：
在这里插入图片描述

GCN 卷积公式

GCN卷积公式的理解：

对图像 (image) 中某一个像素进行卷积实际上是对该像素及相邻像素进行加权求和，
那么在图 (graph) 结构中对某一个节点卷积就应该是对该节点和其邻居节点进行加权
求和。
我们首先考虑最简单的图卷积操作，如下公式：
在这里插入图片描述

简单的图卷积公式
上面的公式中 W 为卷积变换的参数，可以训练优化。A 矩阵为邻接矩阵，Aij 不为 0 则
表示节点 i，j 为邻居。H 为所有节点的特征向量矩阵，每一行是一个节点的特征向量，
H(0) 就是 X 矩阵。A 和 H 的乘积其实就是把所有的邻居节点向量进行相加，如下所
示。
在这里插入图片描述

矩阵 A 和 H 相乘

上式的邻接矩阵中，节点 1 和节点 2、3 为邻居，则 A 乘上 H 后节点 1 的特征向量
就用节点 2、3 特征向量加和得到，即 [2,2,2,2,2]+[3,3,3,3,3]=[5,5,5,5,5]。得到 AH 之
后再和 W 相乘，最后经过激活函数 σ 就得到下一层节点的特征向量了。
但是上面的公式存在一些问题，AH 只获得了某个节点的邻居信息，而忽略了节点本身
信息。为了解决这个问题，我们可以将矩阵 A 中对角线的值设为 1，即每个节点会指
向自身，新的卷积公式如下：
在这里插入图片描述

I 为单位矩阵，即对角线为 1，其余为 0。使用上面的卷积公式即可把节点自身的信息
也考虑进去，但是这个公式仍然存在问题：矩阵 A 没有归一化，AH 会把节点所有邻
居的向量都相加，这样经过多层卷积后向量的值会很大。
因此需要对矩阵 A 进行归一化，归一化要用到图的度矩阵 D，可以直接使用矩阵 D 的
逆和 A 相乘，如下：
在这里插入图片描述

邻接矩阵归一化
但是上面的归一化公式得到的 A 不是对称矩阵，通常使用对称归一化的方法：
邻接矩阵对称归一化
把上面的优化方法结合在一起，就是 GCN 的卷积公式了：
在这里插入图片描述

6.GCN 预测
GCN 可以用最后一层卷积层得到的节点特征向量进行预测，假设 GCN 只有两层，则
预测的公式如下：
在这里插入图片描述
分类的损失函数如下：
在这里插入图片描述

perfect Yang
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
STGCN图卷积神经网络.pdf
05-28
STGCN图卷积神经网络
GCN 邻接矩阵的处理.pdf
06-14
gcn邻接矩阵的处理，普通卷积神经网络研究的对象是具备Euclidean domains的数据，Euclidean domains data数据最显著的特征是他们具有规则的空间结构，如图片是规则的正方形，语音是规则的一维序列等，这些特征都可以用一维或二维的矩阵来表示，卷积神经网络处理起来比较高效
GCN详解
zhuofutong的博客
09-26 2747
CNN 在图像识别等任务中具有重要作用，主要是因为 CNN 利用了图片在其域中的平移不变性。由于图结构不存在平移不变性，所以 CNN 无法直接在图上进行卷积。刚刚提到 CNN 之所以可以应用到图像而无法应用到图网络中主要是因为图像具有「平移不变性（translational invariance）」，而图网络不具备这一属性。那么问题来了，什么是平移不变形呢？我们知道对于 CNN 来说，其核心在于使用了基于卷积核的卷积操作来提取图像的特征，这里的卷积操作类似于对「计算区域内的中心节点和相邻节点进行加权求和」：
图神经网络（一）DGL框架搭建GCN图卷积神经网络模型
weixin_43918046的博客
02-18 1万+
一、DGL DGL是基于pytorch开发的一个专门用于图神经网络模型搭建的框架，到现在为止，DGL已经高度封装了如GCN、GraphSage、GAT等常见的图神经网络模型，可以直接调用，比较方便，当然针对非常想挑战自己的编程能力又或者非常想从更底层的角度去学习图神经网络，建议直接看pytorch搭建的模型。 DGL的安装和使用可以看看这里，一般是先安装pytorch再安装DGL，不然容易出错，图神经网络框架DGL使用记录。 关于DGL各种详细的API和相关使用案例，请参考官方文档， DGL官方文档。 二、
图卷积网络初探【GCN】
WeisongZhao
03-09 3821
最近GCN非常火，虽然个人暂时用不到GCN，但还是简单看了下理论，感觉不是特别复杂，但是似乎实现上较为有难度，尤其是高维的图表示，先转载一篇机器之心的文章学习一下，感觉GCN主要是处理复杂的关系网络，与常见的CV和NLP任务并不十分相同。 何为图卷积网络？ GCN 是一类非常强大的用于图数据的神经网络架构。事实上，它非常强大，即使是随机初始化的两层 GCN 也可以生成图网络中节...
图卷积网络GCN的理解与介绍
idol24的博客
04-12 5042
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！今天分享一篇很火的GCN！！！出自于班上同学Nango之手！https://zhuanlan.z...
Global Convolutional Network(GCN)网络模型
pywin
02-18 1711
Global Convolutional Network
GCN-图卷积神经网络算法讲解（通俗版）
weixin_50706330的博客
10-24 2万+
GCN-图卷积神经网络算法讲解（通俗版）
图卷积神经网络GCN原理+图结构学习+GAT+VGAE
cloudless_sky的博客
04-27 7080
https://baijiahao.baidu.com/s?id=1678519457206249337&wfr=spider&for=pc GCN是一种卷积神经网络，它可以直接在图上工作，并利用图的结构信息。 GCN的基本思路：对于每个节点，我们从它的所有邻居节点处获取其特征信息，当然也包括它自身的特征。假设我们使用average()函数。我们将对所有的节点进行同样的操作。最后，我们将这些计算得到的平均值输入到神经网络中。 GCN的主要思想。我们以绿色节点为例。首先，我们取其所有邻居节点
最通俗易懂的图神经网络（GCN）原理详解
热门推荐
duanyuchen的博客
10-06 4万+
gcn原文(Multi-layer Graph Convolutional Network (GCN) with first-order filters) GCN问世已经有几年了（2016年就诞生了），但是这两年尤为火爆。本人愚钝，一直没能搞懂这个GCN为何物，最开始是看清华写的一篇三四十页的综述，读了几页就没读了；后来直接拜读GCN的开山之作，也是读到中间的数学部分就跪了；再后来在知乎上看大神们的讲解，直接被排山倒海般的公式——什么傅里叶变换、什么拉普拉斯算子等...
GCN-GAT-Graphsage
12-28
图神经网络（Graph Neural Network，GNN）GCN/GAT/Graphsage
STGCN-PyTorch-master.zip_STGCN 代码分析_STGCN pytorch_stgcn_stgcn d
07-15
IJCAI 2018计算机顶会的STGCN源码
st-gcn时空图卷积神经网络
12-11
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition. 图卷积神经网络，2018年AAAI论文代码。
GCN的pytorch实现
10-08
本代码可以纵观从数据load到GCN训练的全过程，是一份比较好的学习demo。 本代码参考自https://colab.research.google.com/drive/1mMUKnvM_Byu8wEcJpFSYGnniPPhIOD7N?usp=sharing。
用于动作识别的时空图卷积ST-GCN
AI蜗牛车
11-15 2928
1 前言最近参加了CCF举办的比赛，并选了一个与之前研究相关性并不大的赛题。赛题主要是做基于人体骨架的动作识别的，正好借此机会学一下相关知识。官方给出的baseline有两个，一个是ST-...
GCN频域视角相关——傅里叶变换、拉普拉斯变换、拉普拉斯算子、拉普拉斯矩阵、卷积
kc7w91的博客
11-16 3203
gcn中提及的傅里叶变换、拉普拉斯矩阵、拉普拉斯算子、特征向量求解
【深度学习理论】(5) 图卷积神经网络 GCN
博观而约取，厚积而薄发
04-30 1万+
1. 图论基础 下图是一个网络图，一共有6个节点。它的邻接矩阵为A，用于描述图的结构。 若两个节点之间有连边，那么邻接矩阵中该元素为1，否则为0。以第0个节点为例（A的第一行），0节点和1、4节点有连边，那么矩阵元素为1。 然而，如果每个节点有其自身的特征，那么邻接矩阵无法准确表达这个图。矩阵 H 代表节点的特征矩阵。矩阵中的每一行代表每个节点的特征向量。例如0节点的特征向量是 [1, 11]。 有了邻接矩阵和节点矩阵就能表述网络图了，将邻接矩阵和节点矩阵相乘，我们发现相乘结果矩阵没...
图卷积神经网络（GCN）
SmartLab307的博客
09-27 5568
前言 转自：「阿泽的学习笔记」。 断断续续写了一个多星期，期间找了很多同学讨论学习，感谢指导过点拨过我的同学们，为了精益求精本着不糊弄别人也不糊弄自己的原则在本文中探讨了很多细节。当然，还有很多细节没提到，包括总变差（Total Variation）、空域和频域视角下的图信号等，有兴趣的同学可以深入了解下图信号处理，本人才疏学浅还希望抛砖引玉引出更多的 GCN 的文章。 ...
[图神经网络] 图节点Node表示---GCN
摩登都市天空---专栏
04-02 5909
一. 概括 图神经网络已经成为深度学习领域最炽手可热的方向之一。GCN具体思想的核心是通过拉普拉斯矩阵可以对图信息进行特征分解的特点把该公式定义为图卷积操作，同时图卷积的出现也填补了神经网络获取拓扑图类型特征的空白。 提取拓扑图空间特征的两种方式： (1) vertex domain (2) 频谱方法（Spectral Method） 这种思路就是希望借助图谱的理论来实现拓扑图上的卷积操作。 图谱理论简单的概括就是借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质 拉普拉斯变换后的矩阵.
gcn代码详解pytorch
最新发布
05-16
GCN（Graph Convolutional Networks，图卷积网络）是一种用于图像分类、节点分类等图像处理任务的深度学习模型。下面我将介绍如何使用PyTorch实现GCN。 首先，我们需要安装PyTorch和其它必要的库。可以使用以下命令安装： ``` pip install torch torchvision pip install numpy scipy scikit-learn ``` 接下来，我们需要定义一个GCN模型。以下是一个简单的实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class GCN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GCN, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x, adj): x = F.relu(self.fc1(torch.mm(adj, x))) x = self.fc2(torch.mm(adj, x)) return F.log_softmax(x, dim=1) ``` 在上面的代码中，我们定义了一个三层的GCN模型。`input_dim`是输入特征的维度，`hidden_dim`是隐藏层的维度，`output_dim`是输出层的维度。`nn.Linear`是一个线性层，`F.relu`是一个激活函数，`F.log_softmax`是一个softmax函数。 接下来，我们需要定义一个训练函数。以下是一个简单的实现： ```python def train(model, optimizer, criterion, features, adj, labels, idx_train): model.train() optimizer.zero_grad() output = model(features, adj) loss = criterion(output[idx_train], labels[idx_train]) loss.backward() optimizer.step() return model, optimizer, loss.item() ``` 在上面的代码中，我们定义了一个训练函数。`features`是输入特征，`adj`是邻接矩阵，`labels`是标签，`idx_train`是训练样本的索引。我们使用`model.train()`将模型切换到训练模式，然后使用`optimizer.zero_grad()`将梯度清零，使用`model(features, adj)`计算输出，使用`criterion(output[idx_train], labels[idx_train])`计算损失，使用`loss.backward()`计算梯度，使用`optimizer.step()`更新参数。 接下来，我们需要定义一个测试函数。以下是一个简单的实现： ```python def test(model, features, adj, labels, idx_test): model.eval() output = model(features, adj) _, preds = torch.max(output, dim=1) correct = torch.sum(preds[idx_test] == labels[idx_test]) acc = correct.item() / len(idx_test) return acc ``` 在上面的代码中，我们定义了一个测试函数。`features`是输入特征，`adj`是邻接矩阵，`labels`是标签，`idx_test`是测试样本的索引。我们使用`model.eval()`将模型切换到测试模式，然后使用`model(features, adj)`计算输出，使用`torch.max`计算最大值，使用`torch.sum`计算正确的预测数量，使用`acc = correct.item() / len(idx_test)`计算准确率。 以下是一个完整的GCN模型的实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class GCN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GCN, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x, adj): x = F.relu(self.fc1(torch.mm(adj, x))) x = self.fc2(torch.mm(adj, x)) return F.log_softmax(x, dim=1) def train(model, optimizer, criterion, features, adj, labels, idx_train): model.train() optimizer.zero_grad() output = model(features, adj) loss = criterion(output[idx_train], labels[idx_train]) loss.backward() optimizer.step() return model, optimizer, loss.item() def test(model, features, adj, labels, idx_test): model.eval() output = model(features, adj) _, preds = torch.max(output, dim=1) correct = torch.sum(preds[idx_test] == labels[idx_test]) acc = correct.item() / len(idx_test) return acc ``` 接下来，我们需要加载数据。以下是一个简单的实现： ```python import numpy as np def load_data(): adj = np.array([[0, 1, 1, 0], [1, 0, 1, 0], [1, 1, 0, 1], [0, 0, 1, 0]]) features = np.array([[0, 1, 0], [1, 0, 0], [0, 0, 1], [1, 0, 0]]) labels = np.array([0, 1, 2, 0]) idx_train = np.array([0, 1, 2]) idx_test = np.array([3]) return adj, features, labels, idx_train, idx_test ``` 在上面的代码中，我们定义了一个简单的图。`adj`是邻接矩阵，`features`是输入特征，`labels`是标签，`idx_train`是训练样本的索引，`idx_test`是测试样本的索引。 接下来，我们需要训练模型。以下是一个简单的实现： ```python import torch.optim as optim adj, features, labels, idx_train, idx_test = load_data() model = GCN(input_dim=features.shape[1], hidden_dim=16, output_dim=labels.max()+1) optimizer = optim.Adam(model.parameters(), lr=0.01) criterion = nn.CrossEntropyLoss() for epoch in range(100): model, optimizer, loss = train(model, optimizer, criterion, features, adj, labels, idx_train) acc = test(model, features, adj, labels, idx_test) print('Epoch: {:03d}, Loss: {:.4f}, Acc: {:.4f}'.format(epoch, loss, acc)) ``` 在上面的代码中，我们定义了一个优化器和一个损失函数。然后，我们使用一个循环来训练模型，并使用`test`函数测试模型。我们使用`print`函数打印训练和测试的损失和准确率。 以上就是使用PyTorch实现GCN的一些基本步骤。当然，这只是一个简单的实现，实际中还有很多需要改进的地方。希望能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

perfect Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值