《node2vec Scalable Feature Learning for Networks》阅读笔记

已于 2022-08-28 11:04:00 修改
阅读量755 收藏 2
点赞数
分类专栏： 深度学习 文献阅读笔记 图机器学习 文章标签： 深度学习 人工智能 机器学习
于 2022-08-28 10:59:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxhabcd123/article/details/126567385
版权

《node2vec: Scalable Feature Learning for Networks》阅读笔记

2022.08.25

本文记录图嵌入表示学习算法Node2vec原论文的阅读笔记

论文主页：

官方主页：http://snap.stanford.edu/node2vec/

snap主页：https://snap.stanford.edu/

摘要

以往的特征表示学习方法（如DeepWalk、LINE）不能够捕获连接的多样性与丰富性，由此提出了Node2vec方法。Node2vec将节点编码成连续、低维、稠密的向量。论文定义了有偏随机游走方法来灵活地探索邻居间的多样性，相比于之前的方法，可以自己决定去探索节点中的哪一部分。实验表明，Node2vec在多标签分类和连接预测这两个任务上都取得了很好的效果。总之，Node2vec可以从复杂网络中学习到一个通用的学习表示。

1. INTRODUCTION

任何监督学习算法都具备内含丰富语义、有分类区分性、有相互独立的特征这三个要素。以往有两种方法来学习特征，第一是人工设计方法，但这种方法效率低，设计的特征效果也不好，且不具有通用性。第二种是基于矩阵分解的图嵌入方法，但这种方法因为要做矩阵分解，时间复杂多太多，不能适用于大规模图。而Node2vec是基于随机游走来进行表示学习。该算法同时兼顾学习社群信息相似和功能结构相似两部分，这才能让算法有更好的泛化性。

两个概念：

一阶随机游走（一阶马尔科夫性）：下一节点仅与当前节点有关（DeepWalk、PageRank）

二阶随机游走（二阶马尔科夫性）：下一节点不仅与当前节点有关，还与上一节点有关

总结贡献：

  • 论文提出了Node2vec，它是图网络中一种高效的可扩展的表示学习方法，还可以通过p，q这两个参数来探索图的不同特性
  • Node2vec符合网络科学的一系列准则，其提取的特征包含丰富的信息
  • Node2vec从节点嵌入扩展到了连接嵌入
  • 论文实验表明，在各类数据集上，Node2vec都取得很好的效果

2. RELATED WORK

先叙述了两种传统特征学习方法的缺点：

一、基于人工设计的特征学习方法

效率低、效果差、不通用

二、基于矩阵分解的特征学习方法

难以扩展、不通用，不适用大规模图

然后叙述基于随机游走的图嵌入，先是讲述了语言模型中word2vec中skip-gram的成功，受该算法启发，提出了DeepWalk算法。但是DeepWalk是刚性的算法，其在随机游走时是完全随机的，而论文提出的Node2vec是有偏的随机游走，其可以通过参数p和q来决定学习哪部分的邻域特征。

最后叙述了基于监督学习的图嵌入，就是使用标签来进行学习，使得其可以适用于下游的学习任务，但是在图网络节点分类任务中，其节点标签是很稀疏的，所以也不具备通用性。

3. FEATURE LEARNING FRAMEWORK

具体每个符号含义这里就不列举了，直接看公式：

把word2vec中的Skip-Gram模型用在图网络中，用中间词预测周围词，Skip-Gram损失函数为：

在这里插入图片描述

作条件独立假设（马尔科夫性成立），即周围节点间互不影响，上式可以改写为：

然后再假设两个节点之间的相互影响的程度一样（对称性），此时可以用softmax：

在这里插入图片描述

进行softmax：

在这里插入图片描述

损失函数可以转换为：

在这里插入图片描述

网络不像词语那样是线性的，因此需要先生成随机游走序列，

3.1 CLASSIC SEARCH METHOD

在这里插入图片描述

DFS（深度优先）：搜索的是 structural equivalence 节点功能角色（中枢、桥接、边缘）

BFS（广度优先）：搜索的是 homophily 同质社群（社交网络）

也就是所这两种搜索策略下邻域是不一样的，但这种策略都是极端策略，而真正的搜索策略应该是这两种搜索策略的结合，也就是以下的Node2vec

3.2 Node2vec
3.2.1 Random Walks

u：起始节点 t：上一节点 v：当前节点 X：下一节点

  • Ns(t)表示上一节点的邻居节点
  • k表示当前节点v的邻居节点个数
  • l表示随机游走序列的节点个数

在这里插入图片描述

3.2.2 Search bias α

若图中的边之间有权重，则直接用，没有就权重赋值为1，连接权重表示游走概率，但这样无法调节搜索策略，直接用BFS、DFS又太极端。所以论文定义了一种二阶随机游走的形式（含参数p和q）

在这里插入图片描述

Node2vec随机游走步骤图示：

在这里插入图片描述

时空复杂度：

空间复杂度：存储每个节点的邻居的空间复杂度是O(|E|)。对于二阶随机游走，因为要存储邻居的邻居，所以其空间复杂度是
O ( a 2 ∣ V ∣ ) \begin{equation} O\left(a^{2}|V|\right) \end{equation} O(a2∣V∣)​​

其中a表示每个节点的平均连接数（上一个节点有a个，当前节点也有a个，所以是a的平方）

时间复杂度： O ( 1 k + 1 l − k ) O(\begin{equation} \frac{1}{k}+\frac{1}{l-k}) \end{equation} O(k1​+l−k1​)​​，其中k是邻域节点的个数，整个随机游走序列的长度是l，所以一个节点已经被采样的概率是1/k，在后边会被采样的概率是1/(l-k)。

只有l可以控制，l越大，节点越被容易采样。

3.2.3 Node2vec algorithm

在这里插入图片描述

这里解释一下AailsSample：用于产生下一个随机游走节点，采用空间换时间的方法，所以时间复杂度是O(1)，他在大量反复抽样的情况下，优势更加突出（比如这里采样大量随机游走序列），还巧妙地实现了离散分布抽样转换为均匀分布抽样

3.3 Learing Edge Features

也就是将 Node Embedding 扩展到了 Link Embedding，可用于判断两个节点间是否有连接

4. EXPERIMENTS

Node2vec是无监督的，是独立于下游任务的，所以它是一个通用的表示学习方法

4.1 Case Study

《悲惨世界》人物关系图（77个节点，254条边），把每个节点都嵌入到16维的空间，对这77个16维的向量做聚类，然后对聚类结果进行可视化，如下图所示：

在这里插入图片描述

4.2 Experimental setup

论文实验充分体现了其公平性，就是对于每种算法，都是在尽可能相同的设置下进行，具体的设置见论文。另外，实验还采用显著性检验来验证其科学性，以及采用网格搜索来寻找最优的参数p和q，总之，该实验十分严谨。

两个评估指标：

Macro-F1：将每一类的F1取平均

Micro-F1：用总体的TP、TN、FP、FN（混淆矩阵）计算F1

下表是不同算法在不同数据集上的Macro-F1值：

在这里插入图片描述

4.3 Multi-Lable classification

由已知节点的标签去预测得到未知节点的标签。

论文用了博主社交网络、蛋白质交互网络、维基百科词条这三个数据集来进行多标签分类任务，这三个数据集中都是homophilic和structural equivalence的结合

实验结果：

在这里插入图片描述

由结果可以看出：

  • Node2vec是表现效果最好的算法
  • 标注数据越多（横轴表示标注数据比例），效果越好
  • 在PPI数据集上，DeepWalk可以视为Node2vec的性能下界
4.4 Parameter sensitivity

以下是调参对比实验结果

在这里插入图片描述

r：参数是每个节点的采样次数（每个节点的随机游走序列），值越大效果越好

l：参数是随机游走序列长度，值越大越好，但会达到一个瓶颈

k：上下文窗口，值越大越好，也会有瓶颈

最后一列：表示随机剔除和增加连接，但性能并不会断崖式下降，说明算法鲁棒性很好

4.5 Perturbation Analysis

分为两种扰动分析：缺失连接（比如论文引用中，尚未发表的论文）和噪声连接（随机增加的连接）

4.6 Scalability

用了一种ER随机图来进行实验

在这里插入图片描述

横轴和纵轴都是对数坐标系的话，一条直线表示时间复杂度就是线性的，是很高效的算法

4.7 Link Prediction

预测缺失的连接（两个节点间是否有连接）

先构建正负样本：

  • 50%的连接作为正样本（选取的原则是去除这些50%的连接后剩下的仍然是连通的）
  • 再选取不连接的节点对作为负样本

使用的数据集有：Facebook（社交好友）、Protein-Protein Interactions（PPI 蛋白质交互）、arXiv ASTRP-PH（科学家协作）

实验结果（数值表示AUC）：

在这里插入图片描述

5. DISCUSSION AND CONCLUSION

5.1 CONCLUSION
  • 将特征表示学习转化为优化问题
  • Node2vec可以将BFS与DFS这两种方法结合，BFS适合学习图中的structural equivalences节点功能角色（中枢、桥接、边缘），DFS可以学习homophily 同质社群（社交网络）
  • 相比于DeepWalk和LINE这种刚性的搜索策略（不能够自己决定），Node2vec引入了参数p和q，其能够更加灵活地生成随机游走序列
  • 论文还从节点预测扩展到了连接预测
5.2 DISCUSSION
  • 未来可以研究关于参数p和q的可解释学习
  • 未来可以研究Node2vec在异质图上的表现
    equivalences节点功能角色（中枢、桥接、边缘），DFS可以学习homophily 同质社群（社交网络）
  • 相比于DeepWalk和LINE这种刚性的搜索策略（不能够自己决定），Node2vec引入了参数p和q，其能够更加灵活地生成随机游走序列
  • 论文还从节点预测扩展到了连接预测
5.2 DISCUSSION
  • 未来可以研究关于参数p和q的可解释学习
  • 未来可以研究Node2vec在异质图上的表现
  • 将Node2vec这种表示学习方法应用在端到端的深度学习
hxh207
关注
专栏目录
论文阅读：node2vec: Scalable Feature Learning for Networks
nemo的博客
08-19 1万+
node2vec: Scalable Feature Learning for Networks 摘要 基于网络中节点和边的预测任务中的特征工程总是很麻烦的。虽然表示学习的自动学习特征已经有很大的帮助，但现有的特征学习方式无法对网络中连接模式的多样性进行足够的捕捉。 node2vec是本论文提出的一种对网络中的节点学习连续特征表达的框架。通过将节点映射到maximizes the lik...
【推荐算法】Graph Embedding系列之node2vec: Scalable Feature Learning for Networks
长相忆兮长相忆的专栏
07-07 1995
Node2vec是一个网络中可扩展特征学习的半监督算法，node2vec采用了一个常规的基于图的目标函数并使用随机梯度下降算法进行优化。node2vec是一种综合考虑DFS邻域和BFS邻域的graph embedding方法。简单来说，node2vec可以看作是deepwalk的一种扩展，可以看作是结合了DFS和BFS随机游走的deepwalk。Node2vec通过调整随机游走权重的方法使graph embedding的结果在网络的同质性和结构性中进行权衡。
论文学习笔记：node2vec: Scalable Feature Learning for Networks
weixin_40675092的博客
07-09 131
表征学习 捕获网络中连接模式的多样性 node2vec：学习网络中节点的连续特征表达，将节点映射到一个低维特征空间。最大化的保留节点邻域。在多标签分类和边预测优于当前的state-of-the-art技术。 亮点：通过引入两个参数 p 和 q, 将宽度优先搜索和深度优先搜索引入了随机游走序列的生成过程 . 宽度优先搜索注重邻近的节点并刻画了相对局部的一种网络表示 , 宽度优先中的节点一般会出现很多次 , 从而降低刻画中心节点的邻居节点的方差 ; 深度优先搜索反应了更高层面上的节点间的同质性 . paper.
论文笔记：node2vec: Scalable Feature Learning for Networks
qq_35771020的博客
03-14 1626
一、基本信息 论文题目：《node2vec: Scalable Feature Learning for Networks》 发表时间：KDD 2016 论文作者及单位： 论文地址：https://dl.acm.org/citation.cfm?id=2939754 二、摘要 网络中节点和边缘上的预测任务需要在学习算法中使用的特征方面进行细致的工作。近年来，在...
node2vec python_论文笔记 | node2vec
weixin_39707941的博客
12-03 368
论文笔记 | node2vec: Scalable Feature Learning for networks论文【node2vec: Scalable Feature Learning for networks】为可度量的网络特征学习，是由斯坦福大学的Aditya Grover和Jure Leskovec在2016年提出的，它实际上是对DeepWalk的改进，是基于DeepWalk的升华。所以在...
【论文阅读｜深读】node2vec: Scalable Feature Learning for Networks
海到无边天作岸 山登绝顶我为峰
06-15 1614
目前的特征学习方法还不足以表达网络中观察到的连接模式的多样性node2vec我们定义了一个灵活的节点网络邻域概念，并设计了一个有偏差的随机漫步过程，可以有效地探索不同的邻域。我们认为，探索邻域的额外灵活性是学习更丰富的表征的关键目前的技术未能令人满意地定义和优化网络中可扩展的无监督特征学习所需的合理目标node2vec我们的关键贡献在于灵活定义了节点网络邻居的概念通过选择适当的邻域概念，node2vec可以学习基于其网络角色和/或其所属社区组织节点的表示。我们通过开发一系列有偏差的随机漫步来实现这一点，这些
[Graph Embedding] node2vec 论文笔记
ilikevegetable的博客
10-31 432
文章目录[Graph Embedding] node2vecIntroductionnode2vec算法原理1. 目标函数2. 节点序列采样策略3. 参数解析4. 伪代码 [Graph Embedding] node2vec 在前面两篇文章中，我们分别介绍了DeepWalk 和 LINE，其中DeepWalk使用随机游走来扩展节点的领域。本文的node2vec的中心思想和DeepWalk很相似，作者对随机游走进行改写，使得通过改写的随机游走进行节点领域的遍历时，可以同时反应dfs（深度优先采样）和bfs（广
论文笔记(10): Node2Vec-Scalable Feature Learning for Networks
腾云
09-05 4217
论文笔记：Node2Vec-Scalable Feature Learning for Networks 一、简介 node2vec是2016年提出的Graph Embedding表示方式，其训练速度快，并开放了源码，而且表示效果还不错，所以挺火。本质上来说，node2vec其实是基于DeepWalk的改进，所以要想了解node2vec，就需要先了解DeepWalk。这里对DeepWalk...
从word2vec到node2vec
外婆家的大灰狼
02-03 4481
word2vec 1. 什么是word2vec 在自然语言处理任务（NLP）中，最细粒度是词语，所以处理NLP问题，首先要处理好词语。 由于所有自然语言中的词语，都是人类的抽象总结，是符号形式的。而对于数学模型，如果要建立词语到词性关系的映射，必须使用数值形式的输入。因此，需要把他们都嵌入到一个数学空间中，就叫词嵌入（word embedding），而word2vec就是词嵌入的一种。 大部分有监...
Node2Vec笔记
Deeachain的博客
09-15 1219
node2vec: Scalable Feature Learning for Networks Github整理代码链接，欢迎讨论和交流，觉得有用的可以Star一下。 1.主要思想        目的：是将图中的顶点映射到一个低维连续空间，并且能够保存图的空间结构。        论文的主要亮点，设计了与Deepwalk不同的随机游走方式，每次随机游走会选择是进行宽度
【Datawhale图机器学习】DeepWalk和Node2Vec
JeffDing
02-21 272
Embedding中隐式包含了graph中的社群，连接，结构信息可用于后续节点分类等下游任务（监督学习）Deepwalk将graph的每一个节点编码为一个D维向量(Embedding)(无监督学习)基于随机游走，管中窥豹。距离较远的两个节点无法相互影响。看不到全图信息（图神经网络）均匀随机游走，没有偏向的游走方向。（Node2Vec）无监督，仅编码图的链接信息，没有利用节点的属性特征。首个将深度学习和自然语言处理的思想用于图机器学习。在稀疏标注节点分类场景下，嵌入性能卓越。没有真正用到神经网络和深度学习。
node2vec: 网络结构特征提取
Jie Qiao的专栏
08-10 1万+
概述论文主要观点本文将抽取网络中节点的特征转化成最优化一个“可能性”目标函数问题，这个“可能性”是该节点可以保存其邻居节点的信息。成果 node2vec，如上述，利用SGD优化，高效 “随机选择邻居”算法，可让node2vec可适应不同的网络 方法模型定义可能性，并且给予两个条件，构成要优化的目标函数； 条件独立性： 节点之间对称性： 最后目标函数： 既然目标函数描述的是此节点能保存相邻
【Graph Embedding】node2vec:算法原理，实现和应用
浅梦的学习笔记
02-12 4万+
前面介绍过基于DFS邻域的DeepWalk和基于BFS邻域的LINE。node2vec则是一种综合考虑dfs邻域和bfs邻域的graph embedding方法。 DeepWalk：算法原理，实现和应用 LINE：算法原理，实现和应用 简单来说，node2vec是deepwalk的一种扩展，可以看作是结合了dfs和bfs随机游走的deepwalk。 nodo2vec 算法原理 优化目标 设f(u).........
node2vec论文阅读
myofficials的博客
12-26 1万+
本文要阅读的论文来自数据挖掘领域的顶级会议KDD-2016. 本篇文章是一种Graph representataion 得益于CNN以及Seq2seq等模型，深度学习在图像和自然语言处理等领域有很好的应用。然而在涉及到图（有向图，无向图）结构的应用比如社交网络，如何去对图建模，仍旧是一个问题。该论文提供了一种很好的建模思路。作者受到word2vec的启发，提出了node2vec 一种对于图中的节点使
论文研读1
相国大人
05-19 2355
论文研读文献24[24] B. Perozzi, R. Al-Rfou, and S. Skiena. DeepWalk: Online learning of social representations. In KDD, 2014. 1.问题的引入文章的初衷，普通 的机器学习方法适合于小规模样本的训练，对于规模巨大的样本集来说，并不意味着性能一定同步上升。考虑到在概率图模型中，我们可以根据网络图
深度学习笔记——Word2vec和Doc2vec原理理解并结合代码分析
热门推荐
mpk_no1的博客
05-18 4万+
一直在用Word2vec和Doc2vec做Embedding，但是刚开始用的时候对其原理一直是一知半解，只是知道怎么用而已。古人云：既要知其然，也要知其所以然。所以，结合作者论文，以及网上各位前辈的博客和开源代码之后，抽空写写自己对Word2vec和Doc2vec原理的理解，以及结合代码做一些分析。希望能够有用，有错误也请各位朋友批评指正！
【论文笔记】node2vec：可扩展的网络特征学习
龙哥盟
07-09 3万+
node2vec: Scalable Feature Learning for Networks Arxiv 1607.00653 三、特征学习框架 我们将网络中的特征学习表示为最大似然优化问题。 设G = (V, E)为给定网络。 我们的分析是通用的，适用于任何有向（无向）的带权（无权）网络。 设f: V -> R^d是从节点到特征表示的映射函数，我们的目标是为下游预测任务学习它。 这里d...
【补充】图神经网络前传——Node2vec
最新发布
Karen_Yu_的博客
05-13 990
对于网络中的节点和边来做预测，首先需要做特征工程，把他们变成向量，有了这些向量之后才能输入到后续的机器学习算法当中，继续做下游的预测、分类任务。但是当时表示学习（ML）在图中的应用（如deepwalk、line）的表示能力不够高->无法反应出节点更丰富的特征和更丰富的连接属性。提出node2vec，一个更好的做node embedding的方法。node2vec是使用极大似然估计来实现训练。定义了一个非常灵活的，有偏随机游走方法，可以有效的探索多样的属性（邻居？），得到更丰富的表示。
node2vec
YizhuJiao的博客
07-22 2428
本节引用自： a. 【论文每日读】node2vec: Scalable Feature Learning for Networks b.  node2vec: Scalable Feature Learning for Networks   主要创新点 1、 将抽取网络中节点的特征转化成最优化一个“可能性”目标函数问题，再利用SGD优化，更加高效。其中，“可能性”是节点可以保存其邻居节点...
node2vec: scalable feature learning for networks
06-06
node2vec是一种可扩展的网络特征学习方法。它可以将网络中的节点表示为低维向量，这些向量可以用于各种任务，例如节点分类、链接预测和社区检测。node2vec使用随机游走来生成节点序列，并使用skip-gram模型来学习节点的向量表示。相比于传统的网络嵌入方法，node2vec可以更好地保留节点之间的结构信息，从而提高了学习效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值