ISWC 2024最新论文：判别指令微调在生成式大语言模型中的应用，知识图谱补全新突破！

本文链接：https://blog.csdn.net/2401_84204207/article/details/148445178

1. 动机

传统的知识图谱补全（KGC）模型通过学习嵌入来预测缺失事实。最近的工作尝试使用大型语言模型（LLMs）以文本生成的方式补全KGs。然而，它们需要将LLMs的输出接地到KG实体上，这不可避免地带来了误差。在本文中，我们提出了一个微调框架DIFT，旨在释放LLMs的KGC能力并避免接地错误。给定一个不完整的事实，DIFT使用一个轻量级模型来获得候选实体，并使用判别指令微调LLM，从给定的候选实体中选择正确的实体。为了在减少指令数据的同时提高性能，DIFT使用截断采样方法选择有用的事实进行微调，并将KG嵌入注入到LLM中。

2. 贡献

（1）本文提出了一个新的KGC框架，即DIFT，它利用判别指令来微调生成式LLM。DIFT不需要将LLMs的输出接地到KGs中的实体。

（2）本文提出了一种截断采样方法来选择有用的KG样本用于指令构造，以提高微调效率。我们还将KG嵌入注入到LLMs中，以提高微调效果。

（3）实验表明，DIFT提高了当前最先进的KGC结果，在FB15K-237上达到0.364Hits@1，在WN18RR上达到0.616。

3. 方法

3.1 指令构造

对于一个查询q=(h，r，?)，我们通过整合查询Q，描述D，邻居事实N和候选实体C这四条信息来构造提示P：

查询Q是指包含不完全事实(h，r，?)的自然语言句子。本文没有设计一个复杂的自然语言问题来提示现成的LLM，而是简单地将实体和关系名称以三元组的形式串联起来，并指出哪个实体缺失。描述D是h的描述性文本，包含了丰富的实体信息。这些额外的信息有助于LLM M更好地理解实体h。近邻事实N是通过抽样与实体h相关的事实得到的。由于可能存在大量与h相关的事实，我们设计了一种简单而有效的采样机制，即关系共现(RC)采样。它根植于关系共现，在精简事实数量的同时保证了相关信息的包含。RC抽样背后的直觉在于观察到与r频繁共现的关系被认为是补全(h、r、?)的关键。候选实体C是由KGE模型排序的top-m个实体的名称。我们保留候选实体的顺序，因为顺序反映了ME中每个实体的置信度。

3.2 截尾抽样

本文设计了一种抽样方法来选择具有代表性的样本，以减少指令数据。其主要思想是选择KGE模型得到的高置信度样本，从而赋予LLM有效获取KGE内在语义知识的能力。以带有查询( h、r、?)和答案实体t的样本事实( h , r , t)为例，样本事实记为s。本文从全局和局部两个角度评估s的置信度。全局置信度

计算方式为

，其中R(h，r，t)是查询(h，r，?)中t的位次。局部置信度

计算方式为

。如果t不在top-m内排序，则赋值为0。最后，我们得到加权的置信度

。

3.3 知识适配的指令微调

P (q)中提供的事实以文本格式呈现，丢失了KGs的全局结构信息。因此，我们提出将从KG结构中学习到的嵌入注入到M中，以进一步提高其图推理能力。我们将KGE得到的实体嵌入与LLM的语义空间对齐，得到知识表示：

。考虑到KGE模型基于查询q和候选实体t的嵌入对事实进行打分，本文注入q和所有候选实体C的表示。同时，我们添加了两个特殊的占位符'[QUERY]'和'[ENTITY]'，表示会有来自KGE的知识表示，如图所示。具体来说，我们在Q中的缺失实体后放置一个'[QUERY]'，在C中的每个实体名后放置一个'[ENTITY]'。

4. 实验

我们提出的框架DIFT在两个数据集的大多数指标上都取得了最好的性能。与基于嵌入的模型TransE、SimKGC和CoLE相比，DIFT在两个数据集上都提高了这些模型的性能，在Hits @1方面有显著提升。在不进行微调的情况下，DIFT的性能急剧下降，说明有必要对LLM进行微调以完成KG任务。

从上表的结果可以看出，所有组分对DIFT都有很大的贡献。在所有这些组成部分中，截断采样对性能的影响最大。在没有截尾抽样的情况下，Hits@1得分至少下降了5.6 %。这表明，该机制能够有效地为LLM选择有用的指令数据，以学习基于嵌入模型的内在语义知识。

候选实体数量的影响。我们将基于嵌入的模型提供的候选实体数量m设置为20。在这里，我们研究了m对DIFT性能和训练时间的影响。首先，对于训练时间，我们发现它随着m的增加而线性增长。我们可以直观地看到因为m的增加会导致更长的提示。其次，对于DIFT的性能，我们发现在FB15K-237上当m设置为30时性能最好，当m设置为40时性能略有下降。如果我们在20之后继续增加m，在WN18RR上也可以找到相同的观测结果。这表明一味地增加候选实体的数量并不能提高性能。

截断采样阈值的影响。我们使用一个阈值β来控制指令数据的数量。随着β的增加，指令数据量减少，因此训练时间也相应减少。其次，当我们在两个数据集上设置β为0时，性能都会下降，这表明增加指令数据的数量并不一定能提高性能，其质量也会影响性能。

DIFT与基本嵌入模型的比较。我们进一步考察了DIFT的预测结果，并与所选择的基于嵌入的预测结果进行了比较。显而易见，除了共有的正确预测外，DIFT本身也可以得到一些正确的预测。反之，我们观察到CoLE做出DIFT无法复制的正确推断的实例。基于DIFT和CoLE的正确预测之间的差异，我们可以得出结论，LLM并不是盲目地重复CoLE预测的实体，而是基于其在预训练阶段获得的知识来推理缺失的事实。

总的来说，不管采用哪种版本的LLM，DIFT都能获得相似的性能。说明了DIFT对不同LLM版本的鲁棒性和泛化性。

5. 总结

本文提出了一个新颖的KG补全框架DIFT。它使用LoRA对带有判别指令的生成式LLM进行微调，不涉及将LLM的输出接地到KG中的实体。为了进一步降低计算成本，提高DIFT的效率，我们提出了一种截断采样方法来选择置信度高的事实进行微调。为了提高微调效果，在LLMs中还加入了KG嵌入。实验表明，DIFT在KG补全上取得了最好的效果。在未来的工作中，我们计划支持其他KG任务，如KGQA和实体对齐。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。