DeepWalk模型的简介与优缺点

1、DeepWalk

[DeepWalk] DeepWalk- Online Learning of Social Representations (SBU 2014)

word2vec是基于序列进行embedding;但是,实际上实体之间的关系越来越复杂化、网络化。这个时候sequence embedding------>graph embedding。

图的定义:

G=(V,E),Evv

在这里插入图片描述

两大块内容:

1、构建序列;------->随机游走,截断随机游走

2、word2vec训练;------>Skip-gram

2.模型特点:

文章开创性的提出了随机游走 + skipGram的形式对节点进行表达,后续大量工业界对emb的应用都是参照这种形式进行的。

deepWalk的核心思想就是分为两步:
(1)通过关系网络图构建随机游走序列;
(2)把生成的序列通过skip-Gram的形式记性表示,将每个节点都能够表示在同一个空间中。文章对于算法效果的评定主要是通过对于几个网站的用户进行多标签分类的任务。
实验结果显示,提升效果比较明显,同时在训练数据比较少的情况下本算法也能够有较好的表现。

优势:

数据量比较稀疏的时候依然能够有很好的表现

支持大规模在线执行预测

能够实现并行化操作

应用到的算法和公式都是基于语言模型的。

文章提出了如果能够直接得到训练序列,也不一定需要进行随机游走这个过程。

3.参考文献:

simrank:https://www.cnblogs.com/pinard/p/6362647.html
https://zhuanlan.zhihu.com/p/45167021

https://www.cnblogs.com/pinard/p/7243513.html
原论文:http://www.perozzi.net/publications/14_kdd_deepwalk.pdf
论文翻译:https://www.jianshu.com/p/5adcc3d94159
应用参考文献:https://yq.aliyun.com/articles/716011

微信号
GNN(Graph Neural Network)模型是一种基于图结构的深度学习模型,主要用于图数据的处理和分析。常见的GNN模型有以下几种: 1. Graph Convolutional Network(GCN):将图中每个节点的特征向量其邻居节点的特征向量进行卷积操作,来更新节点的特征向量。优点是能够有效地利用图结构信息,适用于节点分类和图分类任务,缺点是需要固定的图结构。 2. Graph Attention Network(GAT):利用注意力机制来计算每个节点其邻居节点之间的权重,然后将这些权重作为卷积操作中的参数,来更新节点的特征向量。优点是能够自适应地学习不同节点之间的关系,适用于节点分类和图分类任务,缺点是计算复杂度较高。 3. GraphSAGE:利用多层卷积操作来更新节点的特征向量,每层卷积操作的输入是上一层节点的特征向量和邻居节点的特征向量。优点是具有较强的表达能力,适用于节点分类、图分类和链接预测等任务,缺点是需要选择合适的卷积操作类型和参数。 4. DeepWalk:将图中的节点视为文本中的单词,利用随机游走算法来生成节点序列,然后利用Word2Vec等模型来学习节点的特征向量。优点是计算复杂度较低,适用于节点分类和链接预测等任务,缺点是无法直接利用图结构信息。 5. Gated Graph Neural Network(GGNN):利用门控机制来控制每个节点的信息流动,从而更新节点的特征向量。优点是能够自适应地学习不同节点之间的关系,适用于节点分类和图分类任务,缺点是模型结构较为复杂。 不同的GNN模型适用的条件有所不同,一般来说,如果图结构比较固定,可以选择GCN或GraphSAGE等模型;如果需要自适应地学习节点之间的关系,可以选择GAT或GGNN等模型;如果计算资源比较有限,可以选择DeepWalk模型。此外,还需要根据具体任务的特点来选择合适的模型
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT界的小小小学生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值