本文是LLM系列文章,针对《InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment》的翻译。
摘要
当前的大型语言模型(LLM)是否可以通过参数更新更好地解决图推理和生成任务?在本文中,我们提出了InstructionGraph,这是一个框架,通过指令调整和偏好调整,使LLM能够进行图推理和生成。具体而言,我们首先提出了一种结构化格式描述器,将所有图形数据统一为通用的类代码格式,该格式可以简单地表示图形,而无需任何外部的图形专用编码器。此外,引入了图指令调整阶段来指导LLM解决图推理和生成任务。最后,我们识别了图任务中潜在的幻觉问题,并对负实例进行了偏好对齐采样,其目标是提高模型的输出可靠性。跨多个以图为中心的任务进行的大量实验表明,InstructionGraph可以实现最佳性能,并分别比GPT-4和LLaMA2高出13%和38%以上。
1 引言
2 方法
3 实验
4 分析
5 相关工作
6 结论
本文提出了一种新的InstructionGraph框架,使LLM能够解决图推理和生成任务。为了弥合图数据和文本语言模型之间的差距,我们引入了一个结构化格式的描述器,将每个图转换为类似代码的foemat,并基于从29个图任务中收集的指令数据集不断调整LLM。此外ÿ