Efficient Representation Learning using Random Walks for Dynamic Graphs

最新推荐文章于 2022-09-21 11:50:17 发布
最新推荐文章于 2022-09-21 11:50:17 发布
阅读量294 收藏 1
点赞数
分类专栏： 浅谈 文章标签： 动态图 随机游走
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuan_ting/article/details/113572998
版权

这是Hooman Peiro Sajjad，Andrew Docherty，Yuriy Tyshetskiy于2019年发表的一篇论文，主要是对动态图随机游走序列提出了更新策略。

1.背景知识

节点的Representation Learning

把节点表示为低维的向量表达。

Random Walks

  • 随机游走可以捕获图的结构信息，用于节点表征学习。

    Eg: 𝑘阶随机游走，即给定序列前𝑘个节点后，选择出第𝑘+1个节点。

  • 从起始节点到终止节点的概率值 - 可用来表示相似度。（正比于u节点与v节点embedding之后的点乘结果）

随机游走中的节点对

已知 K 个长度为 L 的游走序列：
在这里插入图片描述
在这里插入图片描述
把节点对的第一项即节点 l 称为 target，后一项称为 context，p 称为context window size。

Vertex pair corpus

所有游走序列产生的节点对集合。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.相关研究

动态图

图的节点和边随着时间变化而增加或删除。
在这里插入图片描述

过去方法

基于静态图，当图发生变化时，再于新的snapshot上重新随机游走。- 低效

3.提出问题

论文提出了Unbiased Update Random Walks的方法，根据dynamic change更新游走序列，计算复杂度取决于其程度和比例。 - 高效

目标

给定 𝑡 时刻的游走序列，更新 𝑡+1 时刻的游走序列，使与单独从 𝒢(𝑡+1) 上得到的游走序列相同。（注意本文讨论的是无向无权图）

定义图的动态变化

  • 变化的边集：分别代表 Delete 和 Add 的边
    在这里插入图片描述
  • 变化的节点集：分别代表 Delete 和 Add 的节点
    在这里插入图片描述

定义受影响的节点和边

  • Affected vertice
    在这里插入图片描述
    这里的 “V(边集)” 表示边的两个端点的集合。
  • Affected walks
    至少包含一个受影响节点的游走序列。

4.更新random walks的3种方法比较

如下图（a）是 t 时刻的图，（b）表示在 t+1 时刻增加了 （B,D）这条边和 D 这个节点。
在这里插入图片描述

  • Static
    每次图变化后，在新图上重新产生所有游走序列。
    在这里插入图片描述

  • Naive Update
    为新增的节点产生新的游走序列加入原来的序列集合，这种方法会导致有概率偏差。比如加入了节点 D 后，节点 A 应能游走到 D 才对，但是Naive Update 没有对 A 的游走序列进行改变。
    在这里插入图片描述

  • Unbiased Update
    从受影响序列中第一个出现的affected vertex之后重新游走该序列。为了让大家更好地理解这个方法，这里贴上原文描述。
    在这里插入图片描述在这里插入图片描述
    从伪代码可以看出，受影响的序列更新后，和未受影响的序列共同构成序列集合，再重新训练整个图。

  • 与此相对的有一个Fast Update：从受影响序列的初始节点重新开始游走 。

Transition Probabilites Error

通过游走序列的节点转移概率误差图，可证明Unbaised Update和RegRW（Static方法）产生序列相似，而简单粗暴的Naive Update则误差很大，Fast稍微好一点，但是依然效果不太好。
在这里插入图片描述

时间复杂度分析

可以看出Unbaised Update下限是只增加了一个新节点，上限和Static方法相同，相对来说更高效。
在这里插入图片描述

5.实验部分

Skip-Gram Model

上文提到的转移概率如下。

  • 目标节点和context共同出现的概率：
    在这里插入图片描述

  • 最小化损失函数：
    在这里插入图片描述

实验设置

  • 用了8个CPU和150GB内存。

  • 代码和数据集：Github

  • 对比算法：用于静态图的DeepWalk/node2vec；Naïve Update

数据集

由于这些数据集没有时间信息，因此是分多个时间片逐步加入边，构造动态图。比如：一开始选择40%的边构造初始图，然后每个时间片随机选择50条边加入，直至形成完整的图。由于加入边不一定保持整个图的连通性，因此在训练的时候只训练最大连通分量的节点。
Update Rate：每个时间片增加的边数

在这里插入图片描述

节点多分类任务

可以看出Unbaised Update可以达到和静态图更新接近的效果，而用时大大减少！
在这里插入图片描述
在这里插入图片描述

参数Update Rate的影响

当Update Rate越大时，受影响的序列比例就越大。
在这里插入图片描述

6.总结与思考

  • 一种高效的增量式更新random walks的方法
    接近新的snap shot重新游走得到的序列效果；计算时间缩短，适合在节点多的大图上使用。
  • 论文中只讨论无向无权图的游走，如何利用边的方向或者权重？
  • temporal random walks中是否可以结合affected vertex设计更好的游走策略？
  • 以上文例子来看，如果 D 的 L 阶邻居们的游走序列都更新了，加上 D 自己的游走序列，那么就跟Static方法在最终图上游走是相同的效果，这样可能比Static更省时。那么在考虑这些L阶邻居的序列时，由于第L个节点游走回D的可能性较低，那么第L阶邻居就赋予比较小的权重？（给动态变化的部分赋予更大的权重）
xuan_ting
关注
专栏目录
【动态图表示综述】Representation Learning for Dynamic Graphs: A Survey
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-21 3234
综述|73页近百篇参考文献JMLR20动态图上的表示学习 论文Representation Learning for Dynamic Graphs: A Survey paper 转载AIGraph深度学习与图网络 摘要 图自然出现在许多现实世界的应用程序中，包括社交网络，推荐系统，本体，生物学和计算金融。传统上，用于图的机器学习模型主要是为静态图设计的。但是，许多应用程序涉及不断发展的图。由于节点，属性和边随时间变化，这为学习和推理带来了重要挑战。在此调查中，作者回顾了动态图（包括动态...
DYNAMIC GRAPH REPRESENTATION LEARNING VIAGRAPH TRANSFORMER NETWORKS 阅读笔记
baidu_40582876的博客
02-18 447
Traget 图学习的理论研究。 Motivation 在现实生活中，很多事物之间是有相互联系的，根据这种联系可以建立一个图结构。但是现实生活中的图结构往往不是固定的，是随着时间的变化而动态改变的，因此，需要设计一个动态的图的方法。 Problem 动态图的学习会面对两个问题，(1)对图信息非常敏感。(2)缺乏泛化能力。 Solved (1)为了解决图信息的敏感问题，提出了一个基于动态图的transformer，依靠临时空间编码来捕获图的拓扑。 (2)为了提升泛化能力，设计了一种互补的自监督
基于随机游走的三维网格分割算法（Random Walks）
weixin_30273763的博客
01-20 685
　　首先以一维随机游走（1D Random Walks）为例来介绍下随机游走（Random Walks）算法，如下图所示，从某点出发，随机向左右移动，向左和向右的概率相同，都为1/2，并且到达0点或N点则不能移动，那么如何求该点到达目的地N点的概率。 　　该问题可以描述为如下数学形式： P(0) = 0 P(N) = 1 P(x) = 1/2*P(x - 1) + 1/2*P(x + ...
EfficientNet论文翻译
tongshen的博客
09-17 4545
原文链接：https://arxiv.org/abs/1905.11946 摘要   卷积神经网络（ConvNets）普遍在一个固定的资源预算下发展的，如果可以获得更多的资源那么就增大模型来得到更好的准确率。本文系统性的研究了模型缩放尺度和以及确认，仔细地平衡网络的深度，宽度，和分辨率能够得到更好的效果。基于这个观点，我们提出了一个新的尺度缩放的方法，统一地缩放所有的维度，深度/宽度/分辨率使用一...
Inductive Representation Learning In Temporal Networks via Causal Anonymous Walks
Milkha的博客
03-09 1787
文章目录1 前言2 问题定义3 CAW思路3.1 Causal Anonymous Walk3.1.1 Causality Extraction3.1.2 Set-based Anonymization3.2 Neural Encoding for Causal Anonymous Walks3.2.1 Encode W^\hat{W}W^3.2.2 Encode Su∪SvS_u \cup S_vSu​∪Sv​5 方法的优势/局限5.1 优势5.2 局限Reference 论文地址：https://ar
A Gentle Introduction to Deep Learning for Graphs 图深度学习的温和介绍
m0_44967199的博客
02-17 4860
文章目录1.简介2. 高级概述2.1、数学符号 论文：A Gentle Introduction to Deep Learning for Graphs 作者：Davide Bacciua, Federico Erricaa, Alessio Michelia, Marco Poddaa 意大利比萨大学计算机科学系 来源：Machine Learning (cs.LG) 论文链接： https:/...
NeurIPS2022 interesting papers
weixin_46782905的博客
09-21 1853
NeurIPS2022文章
NIPS2022上的图神经网络相关论文总结
jkokj23153的博客
09-20 3618
NIPS2022上的图神经网络相关论文总结
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2012 papers
GarfieldEr007的专栏
07-21 4795
Orals Micro Phase Shifting (PDF, project)Mohit Gupta, Shree NayarOn Multiple Foreground Cosegmentation (PDF, supplementary material, project)Gunhee Kim, Eric XingFace detection, pose estimation,
The Learning route of GNN
SimonChen
10-15 507
The Learning route of GNN CHEN JIE Note：图神经网络的相关实战教程及其缺乏，如有看到相关内容，可以添加到群在线文档之中。 图神经网络基础知识 台大李宏毅的GNN课（很通俗易懂，较为推荐） 链接：(1/2) https://www.youtube.com/watch?v=eybCCtNKwzA&ab_channel=Hung-yiLee ​ (2/2)https://www.youtube.com/watch?v=M9ht8vsVEw8&t=1
【更新】社团检测（community detection）相关文献整理（2015-2018）
Gretaing
10-14 1万+
刚刚开始接触community detection相关的内容，在找资料和了解相关定义、算法的过程中发现自己的记录很混乱，所以借此记录下自己的一些学习过程，希望可以一起学习交流。首先咱们来讨论一下文献查找，本文主要列出了机器学习、数据挖掘和人工智能领域的相关文献，我是直接搜索这些领域的相关会议，然后找到accepted papers，利用关键词（community）进行文章的查找和整理，当然也可以直接
Random Walker分割的原理
menjiawan的专栏
04-27 4833
 http://en.wikipedia.org/wiki/Random_walker_algorithm The random walker algorithm is an algorithm for image segmentation. In the first description of the algorithm,[1] a user interactively l
深度学习论文翻译 -- EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
DAOCHI
11-07 1369
本文翻译论文为深度学习分类论文：EfficientNet 论文链接：https://arxiv.org/pdf/1905.11946.pdf 开源代码：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet. 摘要：卷积网络通常在现有的硬件资源下开发，然后根据硬件资源的进展，将卷积网络扩展到更高的准确度。在论文中，我们系统的研究了模型的缩放，并且确定平衡网络深度，宽度以及输入分辨率能够得到更优的网络，进而得到更
“自顶向下，逐步求精”的概念和应用
xuan_ting的博客
11-29 6007
在介绍”自顶向下，逐步求精”这个概念之前，我先解释一下“结构化程序设计”这个词语。其概念最早由E.W.Dijikstra在1965年提出的，是软件发展的一个重要的里程碑。它的主要观点是采用自顶向下、逐步求精及模块化的程序设计方法。那么我们就可以知道结构化程序设计主要强调的是程序的易读性。概念“自顶而下，逐步求精”的设计思想，其出发点是从问题的总体目标开始，抽象低层的细节，先专心构造高层的结构，然后再
Time-LSTM：使用RNN来处理用户行为时间间隔不均等的问题
xuan_ting的博客
02-01 5314
What to Do Next: Modeling User Behaviors by Time-LSTM 这是IJCAI 2017的一篇文章，提出了Time-LSTM用于推荐系统，被多篇时间序列论文引用。其中利用行为时间间隔的方法值得我们思考。 1.背景问题 推荐系统一般是应用于电子商务等场景：给定用户的一系列历史交易记录，预测用户在未来某个时间点可能会购买的某些商品。 用户集合 商品集合 用户 u 的历史交易记录 2.过去方法缺陷 近年来的研究发现RNN可以很好地捕捉用户行为序列的
Ada的另一个身份--计算机语言
xuan_ting的博客
12-12 2680
Ada是谁？她是英国著名诗人拜伦的女儿，但令她名扬世界的不是她的父亲，而是她对计算机事业做出的巨大贡献。她是一位数学家、计算机程序创始人，更是我们程序员心中独一无二的女神。为了纪念她，美国国防部据说花了10年的时间，把所需软件的全部功能混合在一种计算机语言中，希望它能成为军方数千种电脑的标准。1981年，这种语言被正式命名为Ada（阿达）语言，以纪念这位“世界上第一位软件工程师”。 Ada的生平
xERTE：利用时间信息且具有可解释性的KG预测模型
xuan_ting的博客
02-03 2270
xERTE: EXPLAINABLE REASONING ON TEMPORAL KNOWLEDGE GRAPHS FOR FORECASTING FUTURE LINKS 这是ICLR 2021的一篇temporal KG论文，作者是Zhen Han, Peng Chen, BYunpu Ma, BVolker Tresp。xERTE框架可以对时间KG的查询相关子图进行推理，并对图结构和时间上下文信息进行联合建模，最终预测未来发生事件的关联（link）。 1 背景知识 推理（Reasoning）：从已知
inductive representation learning on large graphs
最新发布
03-16
归纳表示学习是指在大型图形数据集上学习图形节点的向量表示方法。该方法旨在通过从邻居节点的表示中合成节点的表示来捕捉节点之间的关系。这种方法通常用于图形分类，聚类和预测任务中。归纳表示学习是一种强大的技术，可以应用于各种应用程序，例如社交网络分析，化学和生物信息学，以及推荐系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值