TGN：Temporal Graph Networks论文解读

最新推荐文章于 2024-08-21 17:08:53 发布
最新推荐文章于 2024-08-21 17:08:53 发布
阅读量6.2k 收藏 11
点赞数
分类专栏： 图神经网络 文章标签： 神经网络 数据挖掘 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40022890/article/details/113851578
版权
本文深入解读了发表在ICLR2020上的TGN（Temporal Graph Networks）模型，重点探讨了其在动态图节点连接预测中的应用。TGN结合了图神经网络和时序信息，通过编码生成embedding，并利用记忆更新机制处理动态变化。文章介绍了模型结构、embedding生成及记忆更新的细节，展示了TGN如何捕获非欧结构和时序信息来预测节点间的连接可能性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

公众号 异度侵入

“

图神经网络（GNNs）的研究已经成为今年机器学习领域的热门话题之一。GNNs最近在生物、化学、社会科学、物理等领域取得了一系列成功。但GNN模型目前以静态图上偏多，然而现实世界许多关系是动态的，比如社交网络、金融交易和推荐系统，动态的变化包含了许多重要信息，只考虑静态图，很难捕捉到其中信息。

”

本篇文章发表在ICLR2020上，对动态图的节点进行连接预测。TGN中，作者除利用传统的图神经网络捕捉非欧式结构生成embedding外，还利用动态图所中时序信息。在本篇公众号里主要介绍TGN中embedding以及memory的更新机制，包含一小部分源码。

图片

时序图示例

 

01

TGN模型结构

下图为TGN 的一个例子，包含了编码部分和解码部分，在文章中主要是介绍了如何使用TGN进行编码，生成embedding，文章中选择MLP层作为解码器。上面的图片可以理解为，对于节点2和节点4连接的可能性的预测，首先通过TGN生成t8时刻节点2和节点4的embedding，然后通过解码器生成节点2和节点4在t8时刻的连接的可能性。

图片

 

<
最低0.47元/天 解锁文章
图神经网络可解释性Slide：GNNExplainer: Generating Explanations for Graph Neural Networks
SimonChen
01-28 1217
参考素材： https://blog.csdn.net/weixin_40505645/article/details/105781034
Twitter Research的时空图神经网络库（TGN）指南
gitblog_00989的博客
08-21 869
Twitter Research的时空图神经网络库（TGN）指南 项目地址:https://gitcode.com/gh_mirrors/tg/tgn 项目介绍 TGN (Temporal Graph Networks) 是Twitter Research团队开发的一个开源库，专注于处理时空数据中的图神经网络问题。它旨在提供一个高效且灵活的框架，支持在动态图上的学习任务，如节点分类、边预测等。该...
读论文《Temporal Graph Networks for Deep Learning on Dynamic Graphs》
buganything的博客
08-21 1660
作者提出了一种名为Temporal Graph Networks（TGNs）的新型深度学习框架，专门用于处理动态图数据。动态图是指图的结构或特征随时间变化的图，例如社交网络或生物互作网络。
TGN：Temporal Graph Networks for Deep Learning on Dynamic Graphs
yxh的博客
08-31 6434
2、Background 2.1 Deep learning on static graphs 一个静态图 G=(V,E)\mathcal{G}=(\mathcal{V},\mathcal{E})G=(V,E) 包含结点 V=1,...,.n\mathcal{V}={1,...,.n}V=1,...,.n 和边 E⊆V×V\mathcal{E}\subseteq\mathcal{V}\times\mathcal{V}E⊆V×V，军备赋予了 features，对于所有的 i,j=1,...,ni,j=1,..
TGN: TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS论文笔记
年年年的博客
05-08 4011
TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS摘要贡献背景静态图表示学习动态图表示学习 摘要 本文提出了时间图网络（TGNs），这是一种通用的，有效的框架，可用于对以时间事件序列表示的动态图进行深度学习。 贡献 提出了时间图网络（TGN）的通用归纳框架，该框架在以事件序列表示的连续时间动态图上运行，并表明许多以前的方法都是TGN的特定实例。 新颖的训练策略，允许模型从数据的顺序中学习，同时保持高效的并行处理。 作者对框架的不同组成部
Temporal Graph Networks for Deep Learning on Dynamic Graphs
Milkha的博客
03-01 1439
文章目录1 前言2 问题定义3 TGN思路3.1 Memory3.2 Message Function3.3 Message Aggregator3.5 Memory Updater3.5 Embeddings4 方法的优势与局限性 论文地址：https://arxiv.org/pdf/2006.10637.pdf 来源：ICML 2020 Workshop slides：tgn 源码地址：tgn 关键词：graph representation, temporal graph 1 前言 该论文主要解决
【论文下饭】Temporal Graph Network for Deep Learning on Dynamic Graphs
LittleSeedling的博客
04-27 4705
文章目录1 介绍2 背景3 Temporal Graph Network3.1 核心模块MemoryMessage Function(msg)Message Aggregator(agg)Memory Updater(mem)Embedding(emb)3.2 训练4 相关工作5 实验5.1 性能表现（实验结果）5.2 模块选择MemoryEmbedding MoudleMessage AggregatorNumber of layers6 结论 综述 Representation Learning for
【论文学习】MS-TGN：Multi scale temporal graph networks for skeleton-based action recognition
LoveKKarlie_的博客
02-16 1104
Multi scale temporal graph networks for skeleton-based action recognition 基于骨架的动作识别的多尺度时间图网络Computer Science & Information Technology (CS & IT)2020。 提出了MS-TGN模型，该模型主要有两个创新：一种同时提取时间和空间特征的称为TGN的模型，以及一种同时获取局部特征和轮廓特征的多尺度图策略。
【论文学习】ST-GCN：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-02 2046
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition；AAAI2018；基于skeleton动作识别的时空图卷积网络；提出了一种基于图的神经网络动态骨架建模方法时空图卷积网络ST-GCN；针对骨架建模的具体要求，提出了ST-GCN中卷积核的设计原则。
论文翻译：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
com_fang_bean的博客
07-23 1271
人体骨骼的动力学特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工制作的部件或遍历规则，从而导致表达能力有限，难以泛化。在这项工作中，我们提出了一个新的动态骨架模型，称为时空图卷积网络(ST-GCN)。它通过自动学习数据的空间和时间模式，超越了以往方法的局限性。这个公式不仅带来了更大的表达能力，而且更强的泛化能力。在两个大数据集动力学和NTU-RGBD上，它实现了对主流方法的实质性改进。 人的动作识别在视频理解中起着重要的作用，近年来成为一个活跃的研究领域。一...
探索未来社交网络：Twitter Research的时空图神经网络（TGN）
gitblog_00072的博客
04-25 810
探索未来社交网络：Twitter Research的时空图神经网络（TGN） 项目地址:https://gitcode.com/gh_mirrors/tg/tgn 项目简介 是由Twitter研究团队开源的一个强大的图神经网络模型，它专注于捕捉动态社交网络中的时空信息。该项目的主要目标是理解和预测社交网络中节点的行为和交互模式，这在社交媒体分析、推荐系统、影响力预测等领域具有广泛的应用潜力。 技术...
tgn:TGN
03-31
TGN：时间图网络[ ， ，] 动态图 TGN 介绍 尽管有很多用于图上深度学习的不同模型，但是迄今为止，很少有人提出处理具有某种动态性质（例如，随着时间的推移而变化的特征或连通性）的图的方法。 在本文中，我们介绍了时间图网络（TGN），这是一种通用的，有效的框架，用于对表示为定时事件序列的动态图进行深度学习。 多亏了内存模块和基于图形的运算符的新颖结合，TGN能够显着优于以前的方法，同时在计算效率上也更高。 我们进一步表明，可以将先前在动态图上进行学习的几种模型转换为我们框架的特定实例。 我们对框架的不同组成部分进行了详细的消融研究，并设计出了最佳配置，该配置在动态图的数个转导和归纳预测任务上均实现了最先进的性能。 论文链接： 运行实验 要求 依赖关系（使用python> = 3.7）： pandas==1.1.0 torch==1.6.0 scikit_learn==0.2
Spatial Temporal Graph Convolutional Networks
02-10
时空图卷积网络用于基于骨架的动作识别，Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition，2018年AAAI论文
802.11 TGn Channel Models
12-15
802.11 TGn Channel Models
论文代码阅读：TGN模型训练阶段代码理解
YxinMiracle's Studio.
12-10 1296
TGN模型训练阶段代码理解
Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey
小蚂蚁与大象
08-23 1161
多图卷积 Multi-Graph Convolution在城市系统中，在空间尺度上存在着多种关系。例如，在交通系统中，相似的交通模式可能存在于相邻区域和具有相似POI的区域中。因此，同时考虑多个空间关系对于STGNN中的时空依赖性学习是不可忽视的。该模型首先基于邻域、功能相似性和连通性构造多图，以表征多种空间相关性。对于每个图，分别采用上下文门控RNN和ChebNet来捕获时间和空间相关性。最后，通过融合并行化的多图时空隐藏信息，得到最终的预测结果。
开源项目 TGN 使用教程
gitblog_00359的博客
08-21 406
开源项目 TGN 使用教程 tgnTGN: Temporal Graph Networks项目地址:https://gitcode.com/gh_mirrors/tg/tgn 1. 项目的目录结构及介绍 tgn/ ├── configs/ │ ├── config.yaml │ └── ... ├── data/ │ ├── preprocess.py │ └── ... ├──...
TodyNet: Temporal Dynamic Graph NeuralNetwork for Multivariate Time Series Classification
qq_46474804的博客
03-04 1383
本文提出了一种新的时间动态图神经网络（TodyNet），可以在没有预定义图结构的情况下提取隐藏的时空依赖关系。它使得信息能够在孤立但隐式相互依赖的变量之间流动，并通过动态图机制捕捉不同时间段之间的关联，进一步提高了模型的分类性能。与此同时，由于图神经网络（GNNs）的限制，无法学习图的分层表示。因此，我们还设计了一个时间图池化层，以获取具有可学习时间参数的全局图级表示，用于图的学习。动态图、图信息传播和时间卷积在一个端到端的框架中共同学习。
Spatio-Temporal Graph Few-Shot Learning with Cross-City Knowledge Transfer
小蚂蚁与大象
08-21 700
通过模拟目标城市的少样本场景，对批量的少样本训练任务进行采样，得到适应性强的基础模型。在4个交通速度预测基准数据集上进行了综合实验，结果表明了ST-GFSL的有效性。具体来说，STNN作为ST-GFSL中的基本特征提取器，其中可以使用任何时空学习架构，比如图神经网络(GNNs)，循环神经网络(rnn)和其他最先进的时空图学习模型。在本节中，我们详细描述了所提出的ST-GFSL框架。为了应对这一挑战，跨城市知识迁移已显示出其前景，从数据充足的城市中学习的模型被利用来有利于数据稀缺城市学习的过程。
TV-G模型
最新发布
03-13
### TV-G Model in Machine Learning and Computer Vision The TV-G (Time-Varying Graph) model represents a specialized approach within the broader domain of machine learning that focuses on handling dynamic graph structures where nodes and edges can change over time. This type of model is particularly useful for scenarios involving temporal data analysis, such as social network evolution, traffic flow prediction, or any system with evolving relationships between entities. In terms of application areas: - **Predictive Maintenance**: By analyzing how different components interact over time, TV-G models help predict potential failures more accurately by considering both spatial and temporal dependencies[^1]. - **Real-Time Anomaly Detection**: These models excel at identifying unusual patterns in streaming data due to their ability to adapt dynamically to changes in underlying graphs representing interconnected systems. For implementing TV-G models, several key considerations apply: #### Data Preparation Data must be structured into sequences of snapshots capturing states at discrete points in time. Each snapshot includes information about node attributes and edge connections present during that period. ```python import numpy as np from scipy.sparse import csr_matrix def prepare_data(time_series_data): """Convert raw time series data into adjacency matrices.""" adj_matrices = [] for t in range(len(time_series_data)): # Assume each entry contains pairs of connected nodes edges_at_t = time_series_data[t] n_nodes = max(max(edges_at_t)) + 1 row = [e[0] for e in edges_at_t] col = [e[1] for e in edges_at_t] data = np.ones_like(row) adj_mat = csr_matrix((data, (row, col)), shape=(n_nodes, n_nodes)) adj_matrices.append(adj_mat) return adj_matrices ``` #### Model Selection Choosing an appropriate algorithm depends heavily on specific use case requirements but generally involves selecting methods capable of processing sequential inputs effectively while maintaining awareness of changing topologies. Popular choices include variants of Recurrent Neural Networks (RNNs), Long Short-Term Memory networks (LSTMs), Gated Recurrent Units (GRUs), along with recent advancements like Temporal Graph Networks (TGN). #### Training Process Training typically requires defining loss functions tailored towards optimizing predictions across multiple timestamps simultaneously rather than focusing solely on individual instances. ```python import torch.nn.functional as F from torch_geometric_temporal.signal import StaticGraphTemporalSignal class TimeVaryingGCN(torch.nn.Module): def __init__(self, num_features, hidden_size, output_size): super(TimeVaryingGCN, self).__init__() self.gcn_conv = GCNConv(num_features, hidden_size) self.linear = Linear(hidden_size, output_size) def forward(self, x, edge_index, batch): h = F.relu(self.gcn_conv(x, edge_index)) y_hat = self.linear(h) return y_hat # Example training loop snippet for epoch in range(epochs): optimizer.zero_grad() out = model(data.x, data.edge_index, data.batch) loss = criterion(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值