KGC:Contextualization Distillation from Large Language Model for KGC，知识图谱补全，大模型上下文蒸馏应用KGC任务

1.文章描述 

Contextualization Distillation from Large Language Model for Knowledge Graph Completion 

 

 

• 确定了当前基于plm的KGC模型语料库的约束，并引入了一种即插即用的方法，即上下文蒸馏，以从llm中提取的原理来增
强较小的KGC模型。
• 在几个公认的KGC数据集上进行了广泛的实验，并利用了各种基线模型。通过这些实验，验证了情境化蒸馏在持续改进较小KGC模型方面的有效性。
• 对所提出方法进行了全面分析，为生成蒸馏路径选择以及合适蒸馏任务的选择提供了有价值的见解和指导。 

 

 

 

一个示例包含我们对llm的指令和生成的描述性上下文。我们使用绿色来突出实体描述提示/生成结果，蓝色来突出三元组描述提示/生成结果。

 

公式1：利用三元组（头实体，关系，尾实体）生成大模型的prompt；

公式2：将prompt输入到大模型，生成描述性文本context

 

 

 

 

 

 

判别损失在下面的附录B1里面

 

 

生成式模型的L-kgc在下面附录B2

 

 

 

这是一个比较新颖的方法去做KGC任务， 但是这种结果的实用性有待研究，代码已经开源，有兴趣的可以自己去复现一下，个人感觉意义不是很大。