[论文阅读]Can GNN be Good Adapter for LLMs?

最新推荐文章于 2025-05-08 17:42:45 发布
最新推荐文章于 2025-05-08 17:42:45 发布
阅读量1.5k 收藏 20
点赞数 7
分类专栏： 论文阅读 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52911108/article/details/143963043
版权

Can GNN be Good Adapter for LLMs?

http://arxiv.org/abs/2402.12984

WWW '24: Proceedings of the ACM Web Conference 2024

研究背景和问题：

（1）实际应用场景和问题提出

大型语言模型（LLM）在自然语言处理（NLP）中取得了显著成效，但它们在处理图数据时存在局限。图数据广泛应用于社交网络、推荐系统等领域，然而，传统LLM在图数据任务（如节点分类、图分类）中表现较差。图神经网络（GNN）在处理图数据上表现优越，但缺乏与LLM的有效结合。本文提出将GNN作为适配器嵌入LLM中，提升LLM对图数据的处理能力。

（2）问题的研究意义

该研究能够弥补LLM在图数据处理上的不足，增强模型对图数据的理解能力，推动LLM在跨领域任务中的应用。

（3）问题的研究现状

目前已有一些研究尝试将GNN与LM结合（如GraphBERT），大多数方法仍将两者分开处理，未能实现紧密融合。现有一些方法如级联GNN-LM方法能够结合GNN和LM，但是计算开销太大；也有一些方法采用自监督GNN-LM的方法，但是GNN与LM结合不紧密；此外还有一些研究直接用LLM处理图数据，但是没有结合GNN。因此，如何将GNN有效地嵌入LLM，以提升其在图任务中的表现，

最低0.47元/天 解锁文章
能发顶会！GNN结合LLMs的三大创新思路！新SOTA准确率提升10倍
学姐带你玩AI的博客
03-13 3049
LLMs在处理NLP任务方面表现出色，而GNNs在挖掘和分析复杂关系数据（图数据）方面展现出其卓越的能力。这种趋势催生了将这两种技术整合的研究兴趣，为解决更多领域的实际问题。GNN+LLMs可以发挥二者的互补优势，实现更全面的数据处理和分析，以便构建更大的模型，获得更好的性能。以港大等发布的通用图大模型GraphGPT为例：GraphGPT通过与图结构的文本信息进行对齐，结合自监督学习的图结构信号和任务特定的图指令，引导语言模型在理解复杂图结构和提高在不同任务中的适应性方面取得了显著的改进。
Can GNN be Good Adapter for LLMs?
weixin_44758224的博客
10-23 1851
【摘要】在图域中，各种真实场景也涉及文本数据，其中任务和节点特征可以通过文本描述。这些文本属性图（TAG）在社交媒体，推荐系统等方面有着广泛的应用，因此，本文探讨了如何利用LLM来建模TAG。以前的TAG建模方法是基于百万级LM的。当规模扩大到十亿级LLM时，它们面临着计算成本的巨大挑战。此外，他们还忽略了LLM的zero-shot推理能力。。在效率方面，GNN适配器只引入了几个可训练的参数，并且可以以低计算成本进行训练。整个框架使用节点文本上的自回归（下一个token预测）进行训练。
【大图模型】图智能 + 大模型
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
09-28 760
蚂蚁「大图模型」研究，为图智能迈向AGI铺了一条新通途
Graph+LLM
weixin_44758224的博客
10-15 943
为了打破这一困境，通过一个名为 GraphTranslator 的翻译器连接预训练的 GM 和 LLM，旨在利用 GM 有效地处理预定义任务，并利用 LLM 的扩展接口为 GM 提供各种开放式任务。在本文中，我们旨在探索 LLM 在图机器学习中的潜力，特别是节点分类任务中，并研究两种可能的流程：LLM 作为增强器和 LLM 作为预测器。然后，我们讨论了在图上使用 LLM 的详细技术，包括 LLM 作为预测器、LLM 作为编码器和 LLM 作为对齐器，并比较了不同模型的优缺点。
GNN和LLM的关系——瞎想
我的备忘录
06-03 576
套用这个想法，casual attention的任务等于图分类任务，给定一个序列token，在每一层decoder拓扑中的边权重都不同的情况下，在某个固定的master node(默认为最后一个token)上汇聚全图表示，然后预测图类别，类别就是token。我注意到，如果每一层的拓扑边权重都不一样，我可以解释成：除了第一层的输入，其他token节点都应该看作一个master node，这就和GNN图分类合上了，将全图特征聚于一个master node，就能用它预测图类别，图类别等于token。
GNN与Transformer的融合！实现全局与局部的完美协同
AIzhijie001的博客
11-15 861
关于GNN（图神经网络）和Transformer的结合，这是一个近年来的研究热点，它们结合的主要优势在于能够发挥各自的长处，提高处理图数据的效率和性能。具体来说，Transformer可以帮助GNN扩展其感受野，包括那些距离中心节点较远的相关节点，而GNN则可以帮助Transformer捕捉复杂的图拓扑信息，并从相邻区域高效地聚合相关节点。提出了结合GNN和Transformer的特征融合模块，以及新颖的特征选择方法，增强了神经架构表示，提升了预测性能。
【论文阅读】HunyuanVideo: A Systematic Framework For Large Video Generative Models
xianshuiyihui的博客
05-07 557
Hunyuan Video论文详解
[论文笔记] 超详细解读DeepSeek v3全论文技术报告
最新发布
心宝的博客
05-08 106
（可以理解为有多个专家，但每个token只会选择一部分专家进行推理，所以一个token的预测，只会用到37B参数），DeepSeek-V3 使用了。来实现高效的流水线并行（减少空泡情况，计算和通信同时进行，提升每张显卡的利用率）。对DeepSeek-V3进行了两阶段的上下文长度扩展。，在不使用采样loss帮助下，让每个专家访问次数接近）的。2、在第二阶段，进一步扩展到128K。阶段，以使其与人类偏好保持一致，并进一步释放其潜力。个不同的高质量token训练，然后进行监督微调和。，MoE）语言模型，总共。
[论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
m0_52911108的博客
05-06 934
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
【论文阅读】Harnessing the Power of LLM to Support Binary Taint Analysis
网络空间安全|人工智能|计算机科学
05-07 885
研究背景软件测试与漏洞检测现状：软件测试是保证软件质量的主要方法，但无法确保无漏洞。二进制漏洞可能被利用，引发网络攻击，第三方安全审计及静态二进制污点分析成为保障软件安全的重要手段。静态二进制污点分析概述：该分析通过识别污点源、传播污点标签、检查漏洞点来检测漏洞，然而其部分流程依赖人工，规则设计复杂且易出错。LLMs的应用潜力：LLMs在代码理解方面有优势，如代码生成和总结，但应用于二进制漏洞检测存在提示工程和代码上下文编码等挑战。LATTE设计整体思路。
【论文笔记】SOTR: Segmenting Objects with Transformers
Word_And_Me_的博客
05-05 1113
【题目】：SOTR: Segmenting Objects with Transformers【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.【网址】：https://openaccess.thecvf.com/cont
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
hiliang521的博客
05-04 1132
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
LLM论文笔记 28: Universal length generalization with Turing Programs
m0_65305142的博客
05-04 607
通过将算法任务分解为逐步的“磁带更新”（类似图灵机的读写操作），允许模型通过简单的文本复制与局部修改完成复杂计算。：每一步仅对磁带的局部内容进行修改（如更新某一位的数字或进位），而非完全重写。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。：模型在未见过的更长输入（50→100+ token）上能预测图灵机的下一步状态，表明其对任意算法任务的泛化潜力。需进一步探索更高效、通用的训练框架，以支持复杂现实任务的长度泛化。
《Overlapping Experiment Infrastructure: More, Better, Faster》论文阅读笔记
pursuit的博客
05-07 1076
这样确保了测试的一致性（同一用户/Cookie 会持续进入同一类型实验），但也会导致例如 1% 的随机流量实验实际上接收的请求远少于 1% 的 Cookie 实验。每层都有自己的实验组和控制组，且流量分配各不相同：UI层的实验A占25%，算法层的实验B占30%，特性层的实验C占20%。与传统的单实验（每请求仅一个实验）不同，每个请求可同时参加多个实验，但每个实验只能修改其对应层的参数。在 Launch 层中，实验指定的是参数的新默认值：如果在其他层没有覆盖这些参数，实验中的默认值生效；
WiseAD：基于视觉-语言模型的知识增强型端到端自动驾驶——论文阅读
qq_54556560的博客
05-08 518
在这篇论文中，我们研究了基础驾驶知识的深度和广度对闭环轨迹规划的影响，并介绍了WiseAD，这是一种专为端到端自动驾驶量身定制的专用VLM，能够进行驾驶推理、动作论证、对象识别、风险分析、驾驶建议和跨不同场景的轨迹规划。大量实验表明，随着驾驶知识多样性的扩大，严重事故显著减少，在卡拉闭环评估中，驾驶分数和路线完成率分别提高了11.9%和12.4%，达到了最先进的性能。：在Carla闭环评估中，驾驶分数（DS）提升11.9%，路线完成率（RC）提升12.4%，关键事故（碰撞、闯红灯）显著减少。
LLM论文笔记 27: Looped Transformers for Length Generalization
m0_65305142的博客
05-04 587
Transformer在长度泛化（length generalization）上表现有限，尤其是对未见长度的输入。本文重点研究解决这一问题的Loop Transformer架构（Looped Transformers），通过循环处理增加模型对输入长度的适应能力。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。1. RASP-L限制transformer无法处理包含循环的任务的长度泛化。，做到“n次transformer”
【论文阅读】Attentive Collaborative Filtering:
hongjianMa的博客
05-07 695
多媒体内容正主导着当今网络信息。然而，大多数现有的协同过滤（CF）系统在多媒体推荐场景中并不理想，因为它们忽略了用户与多媒体内容互动中的“隐式性”。我们认为，在多媒体推荐中，存在两层“隐式”——项目层面（item-level）和组件层面（component-level），它们模糊了用户真实的偏好。项目层面隐式性指用户对整个项目（照片、视频、歌曲等）的偏好强度未知；组件层面隐式性指用户对项目内部不同组成部分（例如图像的不同区域、视频的不同帧）的偏好也未知。比如一次“观看”
论文阅读笔记——STDArm
Multiple_x的博客
05-04 1514
STDArm: Transferring Visuomotor Policies From Static Data Training to Dynamic Robot Manipulation 论文阅读笔记
【论文阅读】Towards Stable Backdoor Purification through Feature Shift Tuning
开心星人的博客
05-07 538
普通的微调方法在低投毒率场景下完全失效。我们的分析表明，低投毒率下，后门特征与干净特征之间的纠缠削弱了基于微调的防御效果。因此，为了提高后门净化效果，有必要将后门特征与干净特征解耦。为了解决这一问题，我们引入了一种基于微调的后门净化方法——特征偏移微调（Feature Shift Tuning，FST）。具体而言，FST通过主动使分类器权重偏离最初被篡改的权重，来鼓励特征偏移。广泛的实验表明，我们的FST在不同的攻击设置下能够提供一致且稳定的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值