LSTM与GNN强强结合！全新架构带来10倍推理速度提升

今天来推荐一个深度学习领域很有创新性的研究方向：LSTM结合GNN。

GNN擅长处理图数据关系和特征，而LSTM擅长处理时间序列数据及长期依赖关系。通过将两者结合，我们可以有效提升时间序列预测的准确性和效率，尤其是在处理空间和时间数据时。

比如一种用于出租车需求和供应预测的hetGNN-LSTM算法，结合了异构图神经网络和LSTM，比现有SOTA推理速度快了10倍！

目前这种策略已经被广泛应用于交通流量预测等多个场景，创新空间十分可观。于是我这次整理了8种最新的LSTM+GNN结合创新方案（附代码），并简单提炼了可参考的idea，希望能给各位的论文添砖加瓦。

论文原文+开源代码需要的同学看文末

Semi-decentralized Inference in Heterogeneous Graph Neural Networks for Traffic Demand Forecasting: An Edge-Computing Approach

方法：论文提出了一种结合了异构图神经网络（hetGNN）和长短期记忆网络（LSTM）的算法，用于出租车需求和供应预测。与现有最先进方法相比，hetGNN-LSTM实现了大约10倍的推理时间减少，并在不同的分散化设置中显示出高准确性预测的性能。

创新点：

• 提出了基于hetGNN-LSTM的出租车需求和供应预测算法，将出租车作为图的节点，并利用不同类型的边来建模节点之间的关系，通过利用这些关系来改善预测性能。

• 提出了半分散的GNN方法，通过使用多个云设备（cloudlet）进行分散计算，减少了中心化和分散化GNN方法的通信开销和计算复杂度。

• 提出了自适应节点-CLN分配方案，通过最小切割图分区将共享子图中的节点分配给相邻的云设备，最小化云设备之间的边数，从而减少云设备之间的通信。

Generating Occupancy Profiles for Building Simulations Using a Hybrid GNN and LSTM Framework

方法：论文开发了一种混合模型，通过结合图神经网络（GNN）和长短期记忆（LSTM）神经网络，预测办公环境中各个房间的占用情况，该模型在具有高时空依赖性的任务中表现出色。

创新点：

• 提出了一种新颖的神经网络，将图神经网络和LSTM相结合，用于预测办公室布局中各个房间的占用情况。这种图LSTM结构在高时空依赖性任务中表现出色。

• 提出了一种解决训练模型中过拟合问题的方法，包括减少隐藏层数量、预处理训练数据和调整早停设置。这些措施可以在未来的模型改进中进行测试。

A GNN-based Day Ahead Carbon Intensity Forecasting Model for Cross-Border Power Grids

方法：论文提出了一个基于图神经网络（GNN）和长短期记忆网络（LSTM）的碳强度预测模型，用于跨境电网的日前（day-ahead）碳强度预测。与现有技术相比，该模型实现了平均26.46%的准确率提升，以及在特定情况下对某些国家预测精度的显著提高。

创新点：

• 提出了一种新的跨境电网碳强度预测问题，并构建了一个基于图神经网络（GNN）和长短期记忆（LSTM）的CFCG模型，以捕捉空间和时间依赖关系。

• 开发了多周期模式编码和节点感知嵌入等新设计，以更好地捕捉跨境电网中的复杂空间和时间依赖关系。

SIG-Net: GNN based dropout prediction in MOOCs using Student Interaction Graph

方法：论文提出了一个基于图神经网络（GNN）的模型，称为SIG-Net，通过从学生交互图中提取子图，并利用这些子图中包含的学生与课程的交互来预测辍学。模型中使用了关系图卷积神经网络（RGCN）来生成子图嵌入，并采用了双向长短期记忆网络（Bi-LSTM）来进行时间序列的预测任务，从而实现对辍学的预测。

创新点：

• 提出了一种名为SIG-Net的模型，通过从学生互动图中提取子图，并学习包含子图的课程中学生的互动，来预测MOOC的退学情况。

• 提出了一种针对MOOC退学预测的基于图的方法，并展示了该模型在各种情景下的优越性能和鲁棒性。该方法还具有应用于其他基于学生互动的预测任务的潜力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“长短GNN”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏