【Datawhale图机器学习】DeepWalk和Node2Vec

DeepWalk：用于图节点嵌入的在线机器学习算法

论文介绍

DeepWalk是基于随机游走的图节点嵌入算法。首次将深度学习和自然语言处理思想用于图机器学习，将随机游走序列与句子类比，节点与单词类比，构建Word2Vec的Skip-Gram无监督（自监督）语言模型。将图中每个节点编码为低维稠密连续向量。
向量隐式包含了节点在原图中的邻居、社群、连接、结构、关联信息，但不包含节点类别信息和资深特征属性信息。
在稀疏数据标注场景下，使用DeepWalk图嵌入向量来解决多类别节点分类问题，性能卓越，并行性、扩展性好。

论文主页

论文主页1：http://www.perozzi.net/projects/deepwalk/
论文主页2：https://sites.google.com/site/bryanperozzi/projects/deepwalk
论文主页3（作者视频介绍）：https://dl.acm.org/doi/10.1145/2623330.2623732
发表在KDD上的最终版本：https://dl.acm.org/doi/abs/10.1145/2623330.2623732
原始论文：https://arxiv.org/abs/1403.6652

作者相关

作者Bryan Perozzi个人主页：http://www.perozzi.net/
作者Rami Al-Rfou个人主页：https://sites.google.com/site/rmyeid/

代码

官方代码：https://github.com/phanein/deepwalk

课堂随记

解决图嵌入问题
Deepwalk将graph的每一个节点编码为一个D维向量(Embedding)(无监督学习)
Embedding中隐式包含了graph中的社群，连接，结构信息可用于后续节点分类等下游任务（监督学习）

首个将深度学习和自然语言处理的思想用于图机器学习
在稀疏标注节点分类场景下，嵌入性能卓越

均匀随机游走，没有偏向的游走方向。（Node2Vec）
需要大量随机游走序列训练
基于随机游走，管中窥豹。距离较远的两个节点无法相互影响。看不到全图信息（图神经网络）
无监督，仅编码图的链接信息，没有利用节点的属性特征。
没有真正用到神经网络和深度学习

特性

• 灵活可变，弹性扩容
• 反应社群聚类信息
• 低维度
• 连续

算法伪代码

Node2Vec：可扩展的图学习算法

论文介绍

node2vec: Scalable Feature Learning for Networks
KDD 2016
Node2Vec是基于有偏随机游走的图节点嵌入表示学习算法，在DeepWalk完全随机游走的基础上，Node2Vec增加p、q参数，实现有偏随机游走。并首次由节点嵌入计算连接嵌入，在节点多分类、连接预测等任务上性能卓越。
不同的p、q组合，对应了不同的搜索空间和节点语义：
DFS深度优先探索，相近社群的节点，向量（嵌入）距离相近。
BFS广度优先探索，相同功能角色的节点，向量（嵌入）距离相近。

论文主页

官方主页：http://snap.stanford.edu/node2vec/
snap主页：https://snap.stanford.edu/
作者Aditya在KDD 2016的演讲：https://www.youtube.com/watch?v=1_QH5BEP5BM

作者主页

Aditya Grover：http://aditya-grover.github.io/
Jure Leskovec.：https://cs.stanford.edu/people/jure/
Vid Kocijan：https://www.cs.ox.ac.uk/people/vid.kocijan/

代码和博客

官方代码（Python2实现）：https://github.com/aditya-grover/node2vec
Elior Cohen代码：https://github.com/eliorc/node2vec
Elior Cohen代码博客：https://maelfabien.github.io/machinelearning/graph_5/#graph-embedding
FIFA17足球球员数据集图嵌入：https://www.kaggle.com/code/ferdzso/knowledge-graph-analysis-with-node2vec/notebook

算法伪代码

p大q小 DFS深度优先 探索远方
p小q大 BFS宽度优先 探索近邻