顶会新潮！GNN结合LLMs的三大创新思路！新SOTA准确率提升10倍

已于 2024-03-25 16:21:36 修改
阅读量1.8k 收藏 28
点赞数 39
分类专栏： AI科研/相关文章/科研方向/科研工具 # KG图神经网络GNN、GCN、GCT LLM大语言模型 文章标签： 人工智能 算法
于 2024-03-25 16:21:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/137017808
版权

顶会新潮！GNN结合LLMs的三大创新思路！新SOTA准确率提升10倍

学姐 学姐带你玩AI 2024-03-24 18:05 上海

LLMs在处理NLP任务方面表现出色，而GNNs在挖掘和分析复杂关系数据（图数据）方面展现出其卓越的能力。这种趋势催生了将这两种技术整合的研究兴趣，为解决更多领域的实际问题。GNN结合LLMs也逐渐成为了研究的热点。

GNN+LLMs可以发挥二者的互补优势，实现更全面的数据处理和分析，以便构建更大的模型，获得更好的性能。以港大等发布的通用图大模型GraphGPT为例：

❝

GraphGPT通过与图结构的文本信息进行对齐，结合自监督学习的图结构信号和任务特定的图指令，引导

了解本专栏 订阅专栏 解锁全文 超级会员免费看
图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合
L_goodboy的博客
02-04 3061
图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合
改善图形神经网络，提升GNN性能的三个技巧
deephub
04-17 5331
GNN 提供了一种在图结构化数据上使用深度学习技术的方法。图结构数据无处不在：从化学（例如分子图）到社交媒体（例如社交网络）以及金融投资（例如 VC 投资网络），GNN 在各种任务中显示出最先进的性能¹ ²。 在我的以前的一个实践：在投资者、初创公司和个人组成的投资网络上预测初创公司未来的融资轮次，其基线随机森林模型已经相当强大（AUC = 0.69）。但是GNN 模型（AUC = 0.66）一直落后于基线模型的性能，并且增加层数和隐藏维度并没有帮助。所以我开始研究，发现 GNN 并不简单。 为了解决这个问
GraphGPT 使用指南
gitblog_00397的博客
08-19 966
GraphGPT 使用指南 GraphGPTExtrapolating knowledge graphs from unstructured text using GPT-3 ????️‍♂️项目地址:https://gitcode.com/gh_mirrors/gr/GraphGPT 项目介绍 GraphGPT 是一个基于图神经网络的先进语言模型项目，由开发者 Varun Shenoy 在 Git...
GraphGPT 项目使用教程
gitblog_00592的博客
08-19 479
GraphGPT 项目使用教程 GraphGPTExtrapolating knowledge graphs from unstructured text using GPT-3 ????️‍♂️项目地址:https://gitcode.com/gh_mirrors/gr/GraphGPT 1. 项目的目录结构及介绍 GraphGPT 项目的目录结构如下： GraphGPT/ ├── data/ │ ...
结合Transformer与GNN！图Transformer15个创新方案，无痛涨点
强化学习曾小健
04-23 1631
作者提出了一种新的神经网络编码器类别，称为DIFFORMER（基于扩散的Transformer），包括两个实例：一个具有线性复杂度的简单版本，适用于数量庞大的实例；作者提出了一种新的方法，称为谱注意力网络（SAN），它使用了一种学习位置编码（LPE），可以从拉普拉斯算子的全谱中学习节点的位置。为了解决分子表示学习中的问题，作者提出了一种名为GROVER的新框架。论文提出了一种名为Graphormer的图表示学习方法，它建立在标准的Transformer架构之上，并在广泛的图表示学习任务上取得了出色的结果。
LSTM与GNN强强结合！全新架构带来10倍推理速度提升
学姐带你玩AI的博客
08-02 1942
GNN擅长处理图数据关系和特征，而LSTM擅长处理时间序列数据及长期依赖关系。通过将两者结合，我们可以，尤其是在处理空间和时间数据时。比如一种用于出租车需求和供应预测的hetGNN-LSTM算法，结合了异构图神经网络和LSTM，比现有SOTA推理速度快了10倍！目前这种策略已经被广泛应用于交通流量预测等多个场景，创新空间十分可观。于是我这次整理了（附代码），并简单提炼了可参考的idea，希望能给各位的论文添砖加瓦。论文原文+开源代码需要的同学看文末。
GNN结合强化学习，10大创新思路带你上大分！
m0_73122726的博客
01-18 456
该方法首先利用GNN预测多个智能体的未来状态和轨迹，然后通过优化的模型预测控制（MPC）来规划主智能体的动作，以高效完成特定任务，如台球躲避和自动驾驶。为解决复杂数据问题带来了强大的助力。CoHet无需预先了解智能体的异质性信息，利用局部邻域信息和动力学模型预测来计算内在奖励，从而促进异构智能体之间的有效合作。1.提出了一个新颖的基于图神经网络的内在奖励机制，能够准确估计异构智能体环境中的内在奖励。3.将内在动机架构与现有的去中心化异构策略学习算法集成，提高了在多智能体合作任务中的性能。
1+1＞2！今年小波变换的结合创新思路建议（附代码）
学姐带你玩AI的博客
02-05 1215
为提高模型在信号处理、图像分析、时间序列预测等多个领域的性能和准确性，我们考虑将这种结合利用了小波变换的多尺度分析能力，以及其他技术的优势，有效捕捉信号的局部特征，从而实现特征的高效提取与融合，，帮助我们更合理地利用资源。...创新空间还是很大的，可参考的顶会成果也比较多。本文挑选了方便有论文需求的同学找idea，开源代码基本都有，不想多花时间找参考的可直接拿。全部论文+开源代码需要的同学看文末。
几种GNN模型的应用与改进
Wisley的读书笔记分享
11-20 4361
近期又陆续看了一些关于GNN的文章，这些文章总体上都是想要解决一个问题，就是如何从大规模图数据中，能有效嵌入节点和拓扑结构的信息，同时降低计算的复杂度，缓解过拟合的风险。有效地对图结构数据的节点进行embedding就需要考虑数据本身的特征，同时也要考虑不同应用场景以及下游任务的目标。 在实际场景中，图数据本身就是错综复杂的，节点直接的联系有些是我们可以从先验知识中得到的，有些是无法直接定义，或者需要从模型中隐式地学习。关于图的描述和学习就有很多方法，比如从邻近的定义有deepwalk、Node2Vec、m
基于GNN，强于GNN：胶囊图神经网络的PyTorch实现 | ICLR 2019
喜欢打酱油的老鸟
03-27 5383
https://www.toutiao.com/a6672580496238576140/ 【新智元导读】胶囊图神经网络（CapsGNN）是在GNN启发下诞生了基于图片分类的新框架。CapsGNN在10个数据集中的6个的表现排名位居前两名。与所有其他端到端架构相比，CapsGNN在所有社交数据集中均名列首位。 本日Reddit上热议的一个话题是名为“胶囊图神经网络”（CapsG...
图大模型前沿技术介绍
人工智能讲师分享前沿技术
04-24 714
图大模型（Graph Large Models，简称GLMs）是一个活跃的研究领域，它结合了图神经网络（GNNs）和大型语言模型（LLMs）的优势来处理图数据。
论文笔记：TEST: Text Prototype Aligned Embedding to ActivateLLM’s Ability for Time Series
qq_40206371的博客
09-20 2967
三个缺点。
GNN｜如何做的比卷积神经网络更好？
深度学习与计算机视觉
10-30 1526
英国机器视觉会议（BMVC）大约两周前在英国卡迪夫结束，是计算机视觉和模式识别领域的顶级会议之一，具有28%的竞争接受率。与其他人相比，这是一个小活动，...
为你解读7大类深度CNN架构创新综述（附论文）
THU数据派
01-28 1272
来源：机器之心本文约3000字，建议阅读6分钟。本综述将最近的 CNN 架构创新分为七个不同的类别，分别基于空间利用、深度、多路径、宽度、特征图利用、通道提升和注意力。深...
常见CNN网络创新点
wxplol的博客
06-30 3744
这篇文章主要介绍卷积神经网络1998年到2019年的20多种经典的网络，体会每种网络的前世今身以及包含的深邃思想。算是一个总结性的博客吧。。。 一、1998年：LeNet 1988年，Yann LeCun（深度学习三巨头之一，2019年获得图灵奖）提出了用于手写字符识别的卷积网络模型LeNet5。其原理结构比较清晰，如图所示。当年，美国很多企业都采用了该模型用于识别现实场景中的数字，例如邮政编码、手写数字等，能够达到商用的程度，可见其在AI领域的开创性地位。 在论文中，LeNet5被用于识别MNIST
大热下的 GNN 研究面临哪些“天花板”？未来的重点研究方向又在哪？
喜欢打酱油的老鸟
05-04 719
2020-05-03 20:10:16 作为脱胎于图论研究的热门研究领域，图神经网络（GNN）与经典的 WL 算法有诸多相似之处。众所周知，强大的 WL 算法对于聚合函数的单射性质有很强的要求，那么强大的 GNN 应该具备哪些性质呢？研究大热下， GNN 面临哪些“天花板”？未来的重点研究方向又在哪？ 编译 | Mr Bear 编辑 | 丛 末 对于图表征任务，我们有两种常用的范式：图...
2020必火的图神经网络（GNN）是什么？有什么用？
大数据
02-12 7653
导读：近年来，作为一项新兴的图数据学习技术，图神经网络（GNN）受到了非常广泛的关注。2018年年末，发生了一件十分有趣的事情，该领域同时发表了三篇综述类型论文，这种“不约而同”体现了学...
GNN等优缺点总结及解决方案
热门推荐
Rainbow
11-17 1万+
https://www.zhihu.com/question/338051122 https://www.zhihu.com/question/346942899 https://zhuanlan.zhihu.com/p/291230435 GCN的缺点在于它灵活性差，transductive，并且扩展性非常差，除此之外这篇论文借助验证集来早停帮助性能提升，跟它半监督学习的初衷有点相悖。训练是full-batch的，难以扩展到大规模网络，并且收敛较慢。 GraphSage论文旨在提升gcn扩展性和改进训练
自然语言处理实战：用CRF打造高精度命名实体识别系统
最新发布
Loving_enjoy的博客
05-03 619
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值