图神经网络

最新推荐文章于 2024-09-24 21:22:37 发布
最新推荐文章于 2024-09-24 21:22:37 发布
阅读量136 收藏
点赞数
分类专栏： 数学 文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_arshal_/article/details/121181876
版权

一、笔记图片

（字不好看，不算知识分享，小白的笔记记录而已）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

二、如果定义卷积

1、图卷积

  • 1、图卷积分为谱方法图卷积和空间方法图卷积。

  • 谱方法图卷积：就是定义在谱域（由于图的拉普拉斯矩阵可以很好的表征图，对拉普拉斯进行谱分解是在全图信息都知道的情况下，所以谱域个人认为是全图的信息）中的图卷积；；；存在缺陷：需要得到全局信息才可以进行谱方法图卷积

  • 空间方法图卷积：定义在顶点域的图卷积，位于目标顶点附近的所有顶点的加权平均函数。

  • 2、如何理解卷积？

  • 卷积就是用两个函数生成第三个函数的过程

  • 一个函数f（x）是我们要分析的，另一个函数g（x）被称为卷积核（类比cv过程）将这个函数进行翻转平移之后与f（x），再对这个函数取积分求它所围成的曲边梯形面积

  • 卷积就是一个函数用来表示：两个筛子和为4的所有可能性。
    在这里插入图片描述

2、图的定义

  • 1、【边集合（略）、顶点集合（略）】拉普拉斯矩阵的定义

  • 拉普拉斯矩阵是半正定矩阵

  • 拉普拉斯矩阵最小特征值是0，并且最小特征值对应的特征向量为全1矩阵

  • 拉普拉斯的谱分解就是特征值分解L=U ^ U -1 其中^表示有特征值组成的上三角矩阵

  • 对阵矩阵的特征向量相互正交，即所有特征向量构成的矩阵为正交矩阵。

3、图的傅里叶变换概念

  • 1、傅里叶变换的概念：就是利用sin-cos的正交特性来模拟f(x)函数，仔细看傅里叶函数会发现它的an和bn是为了建立不同大小的cos和sin，因为它不是简单的坐标直接可以用（x，y）一对正交基来表示，它是变化的f(x)函数是，一条随着时间变化而变化的函数，他需要不同大小的正交基以及内部的wt时间变量来模拟f（x）
  • 2、图的拉普拉斯矩阵，可以很好的表征每个点的度以及各个顶点之间的连接关系，所以这里对拉普拉斯进行分析。
  • 3、将图进行傅里叶变换，就是为了将图转化为数学形式，深度学习的目的就是用数学公式加上参数来学习出事件的规律（大多用统计学公式）。

4、图的傅里叶变化实现

  • 1、正交基在哪里？

  • 上面说过拉普拉斯的谱分解就是特征值分解L=U ^ U -1 ，这里的U是正交矩阵，使用U和 U -1也是正交的，就得到了正交基。

  • 2、这里得到的是n对正交基，因为图是顶点和顶点之间关系的有限信息组合，所以不需要无穷的正交基进行拟合。

三、图卷积

1、卷积定理

卷积函数的傅里叶变化是函数傅里叶变换的乘积（看上面笔记第二页即可）

2、图卷积公式：（f卷积g）G=UgUT*f

其中g是可学习参数

3、对卷积公式进行简化

  • 将g那部分用一个n*n的对角矩阵（以学习参数为对角元，随机初始化的）来表示学习参数。计算量非常大，主要是计算U和 U T计算量大。

在这里插入图片描述

  • 用切比雪夫来代替g
  • 加入一些假设
  • 这两个暂时没看懂

在这里插入图片描述

Marshal～
关注
专栏目录
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络研讨会（空间方法图卷积-GCN-ICLR2017）
qq_43390809的博客
07-24 465
GCN(ICLR2017) 第一种卷积 缺点：计算过于复杂 第二种卷积 卷积核通过切比雪夫多项式Tk（x）的截断展开式很好地近似到k阶： 优点：参数由n降到k，计算大大降低。 线性模型 卷积公式 其中 基于图卷积的神经网络模型可以通过叠加方程5形式的多个卷积层来构建，每一层后面都有一个逐点非线性。 备用知识： 首先将层卷积运算限制在K=1，即关于L是线性的，因此在拉普拉斯谱上有线性函数。并且设置最大特征值≈2 所以有公式（5）可转变为： 两个自由参数：，滤波器参数被整个图共享。连续应用这种形式
图神经网络研讨会（空间方法图卷积-GraphSAGE-NeuraIPS 2017）
qq_43390809的博客
07-24 539
沈华伟老师（中科院） Spatial methods for graph convolutional neural networks 邮件：shenhuawei@ict.ac.c 微博: 沈华伟_ICT 1.GraphSAGE W. L. Hamilton, R. Ying, J. Leskovec. Inductive Representation Learning on Large Graphs. NeuraIPS 2017 原理 GraphSAGE是一种能够利用顶点的属性信息高效产生未知顶点embed
正交分析小助手_学习笔记|深度神经网络中的正交规范化
weixin_39640762的博客
12-31 505
为什么要用正交规范化？在神经网络中，我们都会有矩阵乘法，即使是卷积神经网络CNN中。正交阵的好处是，如果一个矩阵与一个正交阵相乘，这个矩阵的范数不会变化。（如，一个二维向量在一个二维的坐标系如何旋转长度是不会发生变化的。附：旋转矩阵是正交矩阵，正交变换不改变矩阵的F范数、2范数，不改变向量的2范数）正交阵的这个特性在梯度反向传播时有一定好处，特别是梯度爆炸和梯度消散的情况。为什么矩阵范数不变会有助...
图神经网络（GNN）模型原理及应用综述
热门推荐
Running Snail
04-16 10万+
从数据结构到算法：图网络方法初探 论文《Graph Neural Networks: A Review of Methods and Applications》 木牛马论文阅读笔记https://www.cnblogs.com/ydcode/p/11050417.html https://zhuanlan.zhihu.com/p/102994627?utm_source=wechat_session 文章目录图神经网络（Graph Neural Networks，GNN）1. GNN起源1.1 动..
【图神经网络实战】深入浅出地学习图神经网络GNN（上）
知不足而奋进，望远山而前行
10-04 5万+
V：点，每个点都有自己的特征向量（特征举例：邻居点数量、一阶二阶相似度）E：边，每个边都有自己的特征向量（特征举例：边的权重值、边的定义）U：整个图，每个图都有自己的特征向量（特征举例：节点数量、图直径）传统神经网络（CNN、RNN、DNN）要求输入格式是固定的（如2424、128128等）。但在实际场景中（例如道路交通），不同城市的道路数量和节点数量都不同，即输入数据格式不固定。对此，传统神经网络不能很好地解决，但是GNN可以用来解决此类问题。卷积：卷积核平移计算图卷积：自身信息+所有邻居信息。
图神经网络初探
Kaiyuan_sjtu的博客
10-03 7809
介绍随着图神经网络（Graph Neural Networks，GNN）热潮的出现，了解、掌握图神经网络相关原理以及应用相关技术越来越成来从事人工智能人员的必要条件。本文主要概述图神经网络...
图神经网络及其应用
Lukerman0的博客
09-06 6409
Graph Neural Networks and its applications 摘要 以图形形式构建的数据存在于生物化学、图像处理、推荐系统和社会网络分析等多个领域。利用预处理技术在图结构数据上训练机器学习模型有几种方法，但它们缺乏完全适应数据集和手头任务的灵活性。图神经网络允许创建一个端到端的机器学习模型，该模型同时被训练来学习图结构数据的表示并在其上拟合预测模型。图神经网络可以应用于从聚类或可视化到对图数据进行分类或回归的任务，它们还可以在节点或图级别学习表示。他们在半监督学习和有监督图分类方面取
GNN图神经网络常用数据集总结
争取早日成为硅农
12-23 2万+
图神经网络（Graph Neural Network，GNN）是一种新兴的神经网络模型，适用于处理图数据。与传统的神经网络模型不同，GNN 能够有效地捕捉节点之间的结构信息和关系，并对节点进行精准的分类、聚类和预测分析。因此，GNN 在社交网络、生物信息学、推荐系统、物联网等领域得到了广泛的应用。为了研究和评估 GNN 的性能，需要使用各种不同类型的数据集。这些数据集包含了不同领域的实际问题，例如社交网络中的用户关系、生物学中的蛋白质分子结构、推荐系统中的用户行为等。
图神经网络简介，什么是图神经网络，GNN
一起躺躺躺的博客
05-13 2万+
distill博客：A Gentle Introduction to Graph Neural Networks (distill.pub) 什么是图？ 图是由一些点和一些线构成的，能表示一些实体之间的关系，图中的点就是实体，线就是实体间的关系。如下图，v就是顶点，e是边，u是整张图。attrinbutes是信息的意思，每个点、每条边、每个图都是有信息的。 怎么表示一张图，可以参考下面这个例子 每个顶点、边和整张图都可以用一个向量来表示，在这个例子中，顶点的向量有六个值，柱体的高矮就表示该值的.
图神经网络实战（12）——图同构网络(Graph Isomorphism Network, GIN)
盼小辉丶的博客
06-06 3192
图同构网络 (Graph Isomorphism Network, GIN) 架构受 WL 测试启发而设计的，其表达能力与 WL 测试相近，因此在严格意义上比 GCN、GAT 或 GraphSAGE 更具表达能力。在本节中，将这一架构用于图分类任务，介绍了将节点嵌入融合到图嵌入中的不同方法，GIN 通过连接求和运算符和每个 GIN 层产生图嵌入，其性能明显优于通过 GCN 层获得的经典全局均值池化。最后，我们将两个模型的预测结果进行简单的集成，从而进一步提高了准确率。
图神经网络实战（18）——消息传播神经网络
盼小辉丶的博客
08-09 2140
消息传递神经网络 (Message Passing Neural Network, MPNN) 通过消息传播机制对多种图神经网络 (Graph Neural Networks, GNN) 模型做出了一般性总结。在本节中，我们介绍了 MPNN 框架，该框架通过信息、聚合和更新三个步骤统一了 GNN 层，同时介绍了如何在 PyTorch Geometric 中使用 MPNN 创建图卷积网络 (Graph Convolutional Network, GCN) 层。
图神经网络实战（13）——经典链接预测算法
盼小辉丶的博客
06-11 2802
链接预测 (Link prediction) 可以帮助我们理解和挖掘图中的关系，并在社交网络、推荐系统等领域提供更准确的预测和决策支持。为了解决链接预测问题，研究者们提出了多种方法。本节将介绍基于局部和全局邻域的启发式方法。
图神经网络实战（6）——使用PyTorch构建图神经网络
盼小辉丶的博客
03-28 5350
图数据集通常比简单的连接集合更加丰富，因为节点和边可以具有表示分数、颜色、单词等特征。包含这些额外信息在输入数据中对于生成最佳嵌入至关重要。在本节中，我们将使用 Cora 和 Facebook Page-Page 数据集，首先将它们视为表格数据集，观察香草神经网络在节点特征上的表现如何。然后，尝试在神经网络中加入拓扑信息，实现图神经网络 (Graph Neural Networks, GNN) 架构：一个同时考虑节点特征和边的简单模型。最后，我们将比较两种架构的性能。
神经网络（二）：卷积神经网络
悟兰因的博客
09-23 1568
卷积层通过卷积操作来提取特征，在计算机当中，图像以矩阵的方式进行存储（多通道图像即为多个矩阵的叠加），卷积操作实际是通过卷积核对每个通道的矩阵从左到右（卷积核一般是3x3的矩阵）从上至下进行相关运算（先是从左到右，再是从上至下，所以卷积操作也会保留位置信息），最后生成一个/多个新的矩阵，这一新矩阵即为图像的某一特征信息（不同的卷积核能够提取图像不同的特征信息）。池化层的具体操作是将一个像素点及其周围的像素点进行聚合统计，缩减提取特征图的尺寸，减少最终全连接层中的参数数量，加快模型的计算速度。
神经网络激活函数
最新发布
博客简介
09-24 1029
神经网络可以用在分类问题和回归问题上，不过需要根据情况改变输出层的激活函数。一般而言，回归问题用恒等函数，分类问题用softmax函数。
神经网络（一）：神经网络入门
悟兰因的博客
09-22 1438
前向传播，是指将数据特征作为输入，输入到隐藏层，将数据特征和对应的权重相乘同时再和偏置进行求和，将计算的结果通过激活函数进行激活，激活函数输出值作为下一层神经网络层的输入再和对应的权重相乘同时和对应的偏置求和，再将计算的结果通过激活函数进行激活，不断重复上述的过程直到神经网络的输出层，最终得到神经网络的输出值。其中，输入可类比神经元树突，树突可类比神经元的轴突末梢，计算则可类比为细胞核。在两层神经网络的输出层后面，继续添加层次，使得原来的输出层变成隐藏层，新加的层次成为新的输出层，从而构建多层神经网络。
【深度学习】03-神经网络2-1损失函数
weixin_41645791的博客
09-23 875
L2 的特点是，当初始值的给的不好，导致预测值和目标值差异大的时候，会产生梯度爆炸，所以我们也不用这个损失函数，而是做正则化来缓解过拟合。热编码是，默认会找你的最大值去，确定有多少个0，因为0也算一个位置，所以如果最大值为5，那么就一共有6位（0，1，2，3，4，5。L1 这个损失函数最大的特点是： 零点不平滑，导致不可导，跳过极小值，所以不会用来做损失函数，而是做正则化用来缓解过拟合。这里的是API 的注意⚠️，但是在真实的公式中，目标值一定是热编码之后的，但是在API中可以是热编码之前的。
《动手学深度学习》笔记2.1——神经网络从基础→进阶 (层和块 - 自定义块)
weixin_57972634的博客
09-24 1166
在本章中，我们将深入探索深度学习计算的关键组件， 即模型构建、参数访问与初始化、设计自定义层和块、将模型读写到磁盘， 以及利用GPU实现显著的加速。 这些知识将使读者从深度学习“基础用户”变为“高级用户”。 虽然本章不介绍任何新的模型或数据集， 但后面的高级模型章节在很大程度上依赖于本章的知识。很多同学反馈道，本章的学习解开了前后章节的很多困惑，对打牢基础非常有帮助
图神经网络的全面调查
"这篇文章是关于图神经网络的全面调查，主要探讨了深度学习在处理非欧几里得数据，如复杂关系和对象间相互依赖的图数据时所面临的挑战，以及近年来图神经网络（GNN）的发展。文章提出了一个新的分类体系，将当前的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值