【论文浅析】大模型与知识图谱融合

1、LLM和KG的优缺点
下图显示了知识图谱跟大语言模型两者优点和缺点。cons为不足，pros为优点。

可以看到，语言模型的优势在于通用知识、语言处理能力以及泛化性；
而知识图谱优点在于结构化以及准确性，两者可以互相转化。

2、LLM和KG融合方式
有三种：KG增强的LLMs、LLM增强的KG、协同的LLM+KG

下图为详细的融合路径：

3、KG增强LLM
1）KG增强LLM的预训练
①、将KG融合到LLM的训练目标中
A、在预训练目标中暴露出更多的知识实体
B、明确利用与知识和输入文本的联系
②、将KGs整合到LLM的输入中
③、通过额外的融合模块来整合KGs
2）KG增强LLM的推理结果
①、动态知识融合
②、检索-增强型知识融合
3）KG增强LLM的可解释性
①、用于LLM探测的KGs
②、用于LLM分析的KGs
下图为各子路径应用实例

4、LLM增强KG
1）LLM增强KG的编码（词嵌入embedding，KGE）
①、LLM作为文本编码器：应用LLMs对实体和关系的文本描述进行编码，以丰富KG的表示
②、联合文本和KG嵌入：直接使用LLMs来同时将图结构和文本信息纳入嵌入空间
2）LLM增强KG的补全
①、联合编码
②、掩码语言模型MLM编码
③、独立编码
④、LLM作为解码器
3）LLM增强KG的构建
①、实体识别（命名实体识别、实体类型、实体链接）
②、共指消解（同一文本、跨文本）共指消解指的是查找文本中引用（即提及）同一实体或事件的所有表达式
③、关系提取（句子级别、文档级DocRE）
④、端到端知识图谱构建
⑤、 从LLM中提炼知识图谱：来自LLM的隐性知识被转移到com-monsense KGs中生成显性知识
4）LLM增强KG到文本的生成（KG-to-text)
①、利用大模型的知识
②、构建图谱-文本对齐语料
5）LLM增强KG的问题回答（KGQA）
①、实体/关系抽取器
②、回答的解释器
下图为各子路径应用实例

5、LLM与KG协同
协同的LLMs+KGs的统一框架

在数据层，LLMs和KGs分别用于处理文本和结构数据。随着多模态LLMs和KGs的发展，这个框架可以扩展到处理多模态的数据，如视频、音频和图像。
在协同模型层，LLM和KG可以相互协同以提高其能力。
在技术层，已经在LLM和KG中使用过的相关技术可以被纳入这个框架，以进一步提高性能。
在应用层，LLM和KG可以被整合到一起，以解决各种现实世界的应用，如搜索引擎、推荐系统和AI助手。

论文原文：《Unifying Large Language Models and Knowledge Graphs》
参考链接：https://mp.weixin.qq.com/s/HMCMyT0FKV5fGo4NRKSa5g
参考链接：https://mp.weixin.qq.com/s/-ozhONWKW0v96OMg6ZBZ8A