https://arxiv.org/pdf/2404.03868
摘要总结:
本文提出了一种名为Extract-Define-Canonicalize (EDC)的三阶段框架,用于从文本中自动构建知识图谱。该框架首先利用大型语言模型进行开放式信息提取,然后定义图谱模式,并进行标准化。EDC框架可以适应有预定义模式和无预定义模式的情况。实验结果表明,EDC在自动提取高质量知识图谱方面优于现有方法。
EDC框架包含以下三个阶段:
1.开放式信息提取(Open Information Extraction):利用大型语言模型从输入文本中自由提取实体关系三元组。
2.模式定义(Schema Definition):为开放式知识图谱中的每个组件生成自然语言定义,例如实体类型和关系类型。
3.模式标准化(Schema Canonicalization):使用模式定义对三元组进行标准化,使得语义上等价的关系和实体类型具有相同的名词/关系短语。
这三个阶段的作用分别是:
- 开放式信息提取:利用语言模型的开放信息提取能力,从文本中提取有意义的三元组。
- 模式定义:为提取的三元组生成定义,为后续标准化做准备。
- 模式标准化:利用定义对三元组进行标准化,消除歧义和冗余,生成规范化的知识图谱。
EDC框架适应有预定义模式和无预定义模式的情况的方法如下:
1.有预定义模式的情况:
- 在模式标准化阶段,EDC框架使用向量相似性搜索,找到与提取的三元组最相关的预定义模式中的组件,并考虑对其进行标准化。
- 通过语言模型评估每个潜在转换的可行性,以避免过度泛化的问题。如果转换不合理,表示在目标模式中没有语义等价物,则排除该组件及其相关三元组。
2.无预定义模式的情况:
- 在模式标准化阶段,EDC框架从空的标准模式开始,通过向量相似性和语言模型验证,搜索开放式知识图谱三元组中的潜在标准化候选者。
- 与有预定义模式的情况不同,对于无法转换的组件,EDC框架将其添加到标准模式中,从而扩展标准模式。
综上所述,EDC框架通过灵活的模式标准化策略,能够适应有预定义模式和无预定义模式的情况,并生成规范化的知识图谱。