KG-Adapter: Enabling Knowledge Graph Integration in Large Language Models through Parameter-Efficien

（1）Abstract

尽管大语言模型（LLMs）在各种任务中展现出卓越的能力和泛化性，但其缺乏专业知识的特性常受诟病。一种可行的解决方案是将知识图谱（KGs）与LLMs结合，近期研究主要通过基于提示的方法实现KGs与LLMs的融合。然而，这些方法未能利用KGs的结构信息，存在知识冲突问题，且过度依赖超大规模LLMs。为解决这些问题，我们提出KG-Adapter——一种基于参数高效微调（PEFT）的参数级KG融合方法。具体而言，我们设计了一种专为仅解码器架构LLMs设计的适配器结构，能够从节点中心和关系中心双视角编码KGs，并通过双向交叉注意力与LLMs进行联合推理以端到端生成响应。在两项任务的四个数据集上进行的多模型实验均显示显著提升：仅训练2800万参数，我们使70亿参数的LLM超越了此前全参数微调的先进方法，并与基于提示的ChatGPT方法性能相当。

（2）Introduction

①当前LLMs存在三大局限：缺乏时效性知识与领域专业知识、幻觉问题（模型生成的内容与事实不符、缺乏依据或完全虚构的现象）以及可解释性不足
②将知识图谱与LLMs结合是解决上述问题的有效途径。KGs以结构化形式显式存储海量精准事实知识与领域专长，易于修改更新，并能提供人类可读的推理路径。近期研究主要通过基于提示的方法或LLMs-as-Agent框架实现两者结合，这些方法虽取得成效，但存在三大缺陷：(1) LLMs无法直接处理结构化KGs，线性化过程导致底层信息丢失；(2) 基于提示的方法存在知识冲突问题（模型内部存储的知识因来源、时间或逻辑不一致而导致输出自相矛盾）；(3) 过度依赖ChatGPT等超大规模LLMs。
③我们致力于在参数层面将结构化KGs直接融入LLMs。早期工作虽尝试过参数级知识注入，但需要预训练或全参数微调，且与当前LLMs架构不兼容。受参数高效微调（PEFT）启发，我们提出新型适配器结构KG-Adapter，其包含子词-实体混合初始化（SEHI）和多层KG-Adapter模块，使LLMs能直接访问结构化KGs。SEHI通过融合实体级KG表示（来自预训练KG嵌入&