Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

本文是LLM系列文章，针对《InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment》的翻译。

摘要

当前的大型语言模型（LLM）是否可以通过参数更新更好地解决图推理和生成任务？在本文中，我们提出了InstructionGraph，这是一个框架，通过指令调整和偏好调整，使LLM能够进行图推理和生成。具体而言，我们首先提出了一种结构化格式描述器，将所有图形数据统一为通用的类代码格式，该格式可以简单地表示图形，而无需任何外部的图形专用编码器。此外，引入了图指令调整阶段来指导LLM解决图推理和生成任务。最后，我们识别了图任务中潜在的幻觉问题，并对负实例进行了偏好对齐采样，其目标是提高模型的输出可靠性。跨多个以图为中心的任务进行的大量实验表明，InstructionGraph可以实现最佳性能，并分别比GPT-4和LLaMA2高出13%和38%以上。

1 引言

2 方法

3 实验

4 分析

5 相关工作

6 结论

本文提出了一种新的InstructionGraph框架，使LLM能够解决图推理和生成任务。为了弥合图数据和文本语言模型之间的差距，我们引入了一个结构化格式的描述器，将每个图转换为类似代码的foemat，并基于从29个图任务中收集的指令数据集不断调整LLM。此外ÿ