GNN从入门到精通--复杂图的embedding （3）

最新推荐文章于 2024-09-19 10:01:27 发布
最新推荐文章于 2024-09-19 10:01:27 发布
阅读量1.3k 收藏 1
点赞数 2
分类专栏： GNN从入门到精通 文章标签： 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44919414/article/details/124091986
版权
1.异质图嵌入
  • 异质图
    异质图存在不同类型的节点（节点关联的特征类型不相同），旨在将不同类型的节点映射到一个公共嵌入空间。不同类型的节点可能有不同形式（文本、图像…）和维度的节点特征，每种节点类型采用不同的深度模型，将相应特征映射到公共嵌入空间。例如，与节点关联的特征是图像时，CNN可以被用作映射函数。学习的目标是保留节点之间成对的连接信息，所以提取器提取出相连节点的信息（邻接矩阵），重构器根据嵌入域的表示来恢复邻接矩阵A。
    图注：某一节点对 i 和 j 在重构的邻接矩阵中值为1和0的概率（节点对相连的概率）
    在这里插入图片描述
    在这里插入图片描述
  • 重构器
    目标：使重构的邻接矩阵接近原始邻接矩阵A，目标函数可用交叉熵建模（交叉熵：评估预测值和真实值的差异）
    在这里插入图片描述
  • 对于异质图，不仅考虑节点之间的结构相似性，还要考虑节点之间的语义相关性，metapath2vec可以捕获节点之间的两种相关性
  • 基于meta-path的信息提取器
    用meta-path来约束随机游走的决策，生成的每个随机游走都遵循所定义的meta-path模式，每个随机游走可以看成该模式的一个实例
    图注：这里A和R分别代表某种类型的点和边，规定了游走路径中节点和边的类型，根据该模式指导路径中具体的节点和边
    在这里插入图片描述
    图注：走到t节点后，选择t+1节点的概率；下一t+1节点是At+1类型的节点，且和节点t之间通过类型为Rt的边相连
    在这里插入图片描述
    基于meta-path生成多条随机游走，从随机游走中提取共现元组，和DeepWalk方法一样
  • 重构器
    metapath2vec提出两种类型的重构器
    1）与DeepWalk重构器一样，对共现元组出现的概率建模，不同类型的节点服从同一分布
    在这里插入图片描述

2）每种类型的节点有一个多项式分布，例在给定节点Vi下，对于类型为nt的节点概率建模
在这里插入图片描述

2.二分图嵌入–BiNE
  • 信息提取器
    提取两种类型的信息：连接两个集合的边集（集合之间的关系）+ 每个集合内节点的共现信息（集合内部的关系）
    为了提取每个节点集中节点的共现信息，可从二分图中归纳出两个分别以 U 和 V作为节点集的同质图。如果两个节点在原图中是2跳邻居，则它们在生成图中存在连接，对于生成的同质图按照与DeepWalk相同的方式提取共现元组。
  • 重构器
    从嵌入域中恢复两个同质图中的共现元组，与DeepWalk的重构器相同，使共现元组出现的概率最大。为了恢复边集，可以基于嵌入域的节点表示对原二分图中的边进行建模。
    在这里插入图片描述
  • 目标函数
    在这里插入图片描述
    在这里插入图片描述
2.多维图嵌入

  • 多维图
    多种关系同时存在于同一对节点之间，每种类型的关系看成一个维度，对于每个节点，多维图嵌入的目标是，学习所有维度捕获节点的通用表示，以及针对每个维度的特定表示。节点的通用表示可用于执行需要汇总来自所有维度信息的任务，节点特定维度的表示可用于执行特定于维度的任务。通用表示和特定维度表示不是独立的，对二者依赖性建模：通用表示+捕获维度d中信息的表示。
    在这里插入图片描述

  • 映射函数
    通用维度映射函数和特定维度映射函数，与DeepWalk中映射函数类似，通过查表方式实现
    在这里插入图片描述

  • 信息提取器
    提取每个维度的共现信息
    在这里插入图片描述

  • 重构器和目标
    与DeepWalk重构器一样，重构各个维度共现元组出现的概率
    在这里插入图片描述

3.超图嵌入–DHNE

  • 超图
    一个特定作者可以发多篇文章，作者可以看做连接论文(节点)的超边。在超图中对一组节点之间的关系建模，从超边中提取两类信息：一是由超边本身，直接描述节点之间的相似性关系；二是超边中节点的共现信息

  • 信息提取器
    1）对超边中节点的共现信息建模，H表示节点和各个超边的邻接矩阵，D表示节点的度矩阵，Aij表示节点 i 和节点 j 在所有超边中共同出现的次数；A的第i行描述了节点 i 与图中所有节点的共现信息。
    在这里插入图片描述

  • 映射函数
    映射函数采用多层感知机MLP建模，输入的是全局共现信息A，得到节点的映射
    在这里插入图片描述

  • 重构器和目标
    1）恢复超边信息的重构器
    对于任意给定的节点集之间存在超边的概率建模，g是将节点嵌入映射到当个标量的前馈网络，用sigmoid函数转换成概率，R用来指示节点集合是否存在超边，基于交叉熵的目标函数定义如下：
    在这里插入图片描述
    在这里插入图片描述
    2）恢复节点全局共现信息的重构器
    f是重构共现信息的前馈网络
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1GNN算法 之 GraphEmbedding
weixin_51736742的博客
08-04 255
初学GNN，总结一下算法代码 1.deepwalk if __name__ == "__main__": G = nx.read_edgelist('../data/wiki/Wiki_edgelist.txt', create_using=nx.DiGraph(), nodetype=None, data=[('weight', int)])#导入图，创建有向图，节点，权重 # nx.draw(G, node_size=10, font_s
GNN从入门到精通--b站
12-26
"GNN从入门到精通--b站" 本课程主要讲解Graph Neural Network（GNN）的概念和应用，包括Graph的基本介绍、Graph Embedding、Graph Network、Complex Graph Network、Graph应用等。 Graph基本介绍 Graph是由节点...
【GNN】Graph embedding
qq_38904659的博客
07-29 526
Orignal in Wechat article. Why do we need graph embedding Machine learning algorithms are tuned for continuous data, hence why embedding is always to a continuous vector space. What is graph embedding Definition Graph embedding is an approach that is us.
原来，一切皆可GNN！
最新发布
2401_84208172的博客
09-19 1055
以几何深度学习（Geometric Deep Learning）的独特视角**，形形色色的神经网络架构视作不同类型的GNN，** 这视角拓宽了我们对现有神经网络工作机制的认知边界。解码器中的每个位置都可以访问输入序列和之前生成的输出序列中的所有位置，并计算一个表示这些位置关系的权重。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。：对卷积层的输出进行下采样，以减少数据的维度和计算量，同时保留重要的特征信息。
【图神经网络】图神经网络（GNN）学习笔记：Graph Embedding
小哲的博客
06-13 2350
图嵌入（Graph Embedding）算法是一类用于将图中的节点或边转换为低维向量表示的技术。它通过学习节点或边之间的关系和结构信息，将复杂的图结构映射到一个连续的向量空间中。图嵌入算法在图分析、社交网络分析、推荐系统等领域具有广泛的应用。常见的图嵌入算法包括DeepWalk、Node2Vec、GraphSAGE、Graph2Vec等，它们使用了不同的策略和技术来捕捉图中的结构和语义信息。这些算法能够将图中的节点和边表示为稠密的低维向量，使得后续的机器学习和数据挖掘任务更加高效和有效。
GNN从入门到精通 -- Graph Embedding (2)
qq_44919414的博客
04-08 1288
1.什么是图嵌入 将图中的每个节点映射为一个低维的向量表示，映射后的向量应尽可能多的保留原图中节点的关键信息，以便更好地进行下游任务。 2.哪些信息需要被保留？ 不同的图嵌入算法信息保留的侧重点也不一样，根据不同的下游任务，原图中需要保留的信息重要性程度也不一样（例如节点的邻域信息，结构角色，社区信息等）。 3.如何保留关键信息？ 大多数技术共同思想就是，利用嵌入域中的节点表示，重构出要保留的图域信息（因为良好的节点表示应该能够重构出希望保留的关键信息），所以整个节点嵌入的学习过程就是，最小化重构
深入理解深度学习——图嵌入（Graph Embedding）
冯·诺依曼
02-05 1万+
前面的文章介绍了由Word Embedding延伸出的Item Embedding等，这些延伸都建立在它们有序列特性的基础上。其实，可延伸的领域还有很多，有些初看起来与序列无关的领域，通过适当变化后，也同样适用。如下图所示，左边是人们在电商网站浏览物品的轨迹，这些轨迹呈图结构，通过一些算法计算后，可以把左图转换为右图这样具有序列样本特征的格式： Graph Embedding与Word Embedding一样，目的是用低维、稠密、实值的向量表示网络中的节点。目前Gr
ACL2020---基于Knowledge-Embedding的多跳知识图谱问答.rar
10-18
标题中的“ACL2020---基于Knowledge-Embedding的多跳知识图谱问答”指的是在2020年举办的国际计算语言学大会（Association for Computational Linguistics, ACL）上，探讨的一种应用于自然语言处理（NLP）的技术，即...
GNN-for-NLP-slide
11-18
3. **Sentence-State LSTM**：Sentence-State LSTM是另一种将图结构引入NLP的方法，通过全局节点连接所有单词，局部窗口内的单词连接。该模型使用LSTM更新每个节点的向量表示，可以应用于文本分类和序列标注任务。...
GNN-hardware-acceleration-paper:这个 repo 是收集 state-of-the-art GNN 硬件加速论文
05-30
GNN-hardware-acceleration-paper-collect 这个 repo 是收集 state-of-the-art GNN 硬件加速论文 GNN 通用框架 PYG：使用 PyTorch Geometric [ ][ ] 的快速图表示学习 DGL：深度图库（DGL） ，[ ] GCN训练加速 曾，...
关于图神经网络（GNN）的必读文章-python
06-18
关于图神经网络（GNN）的必读文章 GNN 必读论文 GNN：图神经网络 由 Jie Zhou、Ganqu Cui、Zhengyan Zhang 和 Yushi Bai 贡献。 内容 1. 调查 2. 模型 2.1 基本模型 2.2 图类型 2.3 池化方法 2.4 分析 2.5 效率 3. ...
图的embedding问题
学渣的博客
01-04 3234
图的embedding问题 [摘要]：随着word2vec模型的提出，embedding问题开始逐渐引起大家的注意。在如今大数据背景的驱动下，商品、行为、用户等实体之间的关系越来越复杂化、网络化，而word2vec是sequence embedding的，故其表示能力较弱，已不适合表示当下的复杂数据，因此人们又提出了graph embedding，即通过某种方法，将大型的图进行embedding，...
一文直击Graph Embedding图表示学习的原理及应用
hellozhxy的博客
06-01 4903
导读：我们都知道在数据结构中，图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构，如社交网络，交通网络，电商网站中用户与物品的关系等。 目前提到图算法一般指： 经典数据结构与算法层面的：最小生成树 (Prim,Kruskal,...) ，最短路 (Dijkstra,Floyed,...) ，拓扑排序，关键路径等 概率图模型，涉及图的表示，推断和学习，详细可以参考 Koller 的书或者公开课 图神经网络，主要包括 Graph Embedding (基于随机游走)和
Graph Neural Networks (GNN)（五）：Graph Embedding (DeepWalk, Line, Node2Vec)
xiaopihaierletian的博客
11-29 592
Graph Neural Networks (GNN)（五）：Graph Embedding (DeepWalk, Line, Node2Vec)
图机器学习-节点嵌入(Node Embedding)
小吴同学的小屋
01-25 2012
我们首先需要设计一个encoder对节点进行编码。既然要比较相似度那么我就需要定义节点的相似度。同时我们还需要定义一个decoder，它是一个从embedding space到相似度得分的映射。最后我们需要优化encoder的参数，使得nodes在embedding space的相似度和在原始图中的相似度尽量相近。
embedding
La_vida_segura的博客
07-22 907
其目的就是将要表示的东西进行向量化表示。原来每个字用一个ID表示，这样能表示的信息太少了，不能够表达词所在语料内更多的意思,比如和那个词更相近。通过词嵌套将一个单一的ID表示为一个128纬度(此处是128)的向量，能够表达更多的意思。词嵌套是向量化的一个重要手段，这个技巧一定要掌握的。    ...
Image Embedding(图片嵌入）/ Feature Embedding（特征嵌入）
热门推荐
jialibang的博客
11-10 2万+
Feature Embedding 特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例如，针对用于说话者识别的语音信号训练的模型可以允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里德距离）。 embedding的主要目的是对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过 ...
详解Graph Embedding经典方法：算法原理、代码实现与应用样例
python122_的博客
08-21 1229
1阶相似度用于描述图中成对顶点之间的局部相似度，形式化描述为若之间存在直连边，则边权即为两个顶点的相似度，若不存在直连边，则1阶相似度为0。如上图，6和7之间存在直连边，且边权较大，则认为两者相似且1阶相似度较高，而5和6之间不存在直连边，则两者间1阶相似度为0。
【GNN笔记】Graph Embedding(二)
panbaoran913的博客
05-21 365
图嵌入的相关算法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值