基于结构知识和常识知识的Few-Shot知识图谱补全研究综述

最新推荐文章于 2024-04-16 16:03:11 发布

沃恩智慧

最新推荐文章于 2024-04-16 16:03:11 发布

阅读量479

点赞数 2

分类专栏：知识图谱文章标签：自然语言处理知识图谱人工智能

本文链接：https://blog.csdn.net/m0_73122726/article/details/128581777

版权

A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge
标题：基于结构知识和常识知识的Few-Shot知识图补全研究综述
链接：https://arxiv.org/abs/2301.01172

作者：Haodi Ma,Daisy Zhe Wang

机构： University of Florida

一、摘要：

知识图已经成为各种自然语言处理应用的关键组成部分。常识知识图（CKG）是一种特殊类型的KG，其中的实体和关系由自由形式的文本组成。然而，以往的KG完备化和CKG完备化工作都存在长尾关系和新增关系，没有太多的已知三元组可供训练。有鉴于此，为了解决标注数据有限的问题，提出了需要图表示学习和少镜头学习的优点的Few-Shot KG补全（FKGC）。在本文中，我们以一系列方法和应用的形式全面综述了以前在这类任务上的尝试。具体来说，我们首先介绍FKGC挑战、常用KG和CKG。然后从知识几何的类型和方法两个方面对已有的研究成果进行了系统的分类和总结。最后，介绍了FKGC模型在不同领域预测任务中的应用，并对FKGC未来的研究方向进行了展望。

二、简介：

当今的大规模 KG 中存储了大量信息，但它们非常不完整，这使得知识图谱补全 (KGC) 对其下游应用程序构成了挑战。最近的趋势旨在学习实体的低维表示和缺失链接预测的关系 [（Bordes 等人，2013 年；Trouillon 等人，2016 年；Dettmers 等人，2017 年）]。这些方法的总体思路是根据 KG 中的已知事实对实体之间的各种关系模式进行建模和推理。例如，TransE 将关系建模为翻译，针对反转和组合模式。旋转作为一个代表，可以推断出对称、不对称、反转和合成模式。

然而，此类方法通常需要足够的训练三元组来让所有关系学习嵌入。以前的作品 [78] 表明，很大一部分 KG 关系是长尾的。例如，例如，维基数据中约 10% 的关系不超过 10 个三元组。此外，现实世界的 KGs 通常是动态的，这意味着每当获得新知识时都会添加新的关系和实体。为了应对这些挑战，该模型应该能够仅在少量示例的情况下预测新的三元组。

为了应对上述挑战，提出了两个基准，NELL-One 和 Wiki-One，用于少样本知识图完成（FKGC）和称为 GMatching 的基线模型。该模型引入了一个本地邻居编码器来学习昂贵的实体表示，每个查询关系只有几个样本。最近作品的一个分支遵循类似的方法，通过考虑局部图邻居来提高嵌入质量，从而取得了可观的性能。他们进一步争辩说，实体邻居应该具有与不同任务关系相关的不同影响。由于关系可以是多义的，参考三元组也应该对特定查询做出不同的贡献。例如，如果任务关系是 isPartOf，如图 1 所示，则这种关系具有不同的含义，例如，组织相关的（利物浦，isPartOf，英超联赛）或位置相关的（盖恩斯维尔，isPartOf，佛罗里达州） .显然，对于查询 (Dallas, isPartOf, Taxes)，与位置相关的引用应该比其他引用更有影响力。这些模型 [43、54] 建议使用注意力网络来捕获实体和引用的动态属性。

FKGC 模型的另一个轨道是基于模型不可知元学习 (MAML) 开发的。

这些模型利用元学习来学习实体和关系的表达嵌入的学习过程，只有少数实例。特别是，他们使用训练集中的高频关系来捕获元信息，其中包括跨不同任务关系的共同特征。通过元信息提供的良好参数初始化，这些模型可以快速适应测试任务，其中每个任务关系只提供少量的几个实例。

另一方面，作为一种特殊类型的知识图谱，如 ATOMIC 和 ConceptNet等常识知识图谱 (CKG)，其中实体和关系由自由格式的文本组成，很少受到基于嵌入的模型的关注. CKG 是动态的，因为不断引入具有看不见的文本的实体，这使它们成为 FKGC 的自然基准。此外，CKG 中的实体和属性通常是自由格式的文本。如图 3 所示，不同于一般的 KGs 具有结构化的实体和关系名称，CKGs 中的实体描述具有丰富的语义含义，隐含的语义关系可以直接推断常识知识，但这种特性也使得 CKGs 与general KGs，因为引用相同概念的实体可以是不同的节点。如[67]所示，与FB15K-237相比，ConceptNet和ATOMIC的平均入度仅为1/15和1/8。由于 CKG 不能完全适合比较具有关系的两个实体的模式，因此基于嵌入的方法仅限于捕获隐含的常识性知识。
同时，最近在训练基于 transformer 的上下文语言模型方面取得的进展激发了人们对使用语言模型 (LM) 作为知识库的兴趣。例如，最近的工作侧重于使用提示查询 LM（例如，“Beatles was formed in __”）。 COMET是一种基于 transformer 的 KG 完成模型，经过训练可以预测头部实体上看不见的尾部实体条件和 ATOMIC 上的关系。 BertNet更进一步，通过自动解释 FKGC/KGC 任务的初始提示，直接从预训练语言模型中提取未见实体的三元组。
最后，在本次研究中，我们涵盖了 FKGC 模型在数据科学、视觉提取和医学社区中的典型应用。我们根据观察到的当前模型的弱点，进一步讨论了 FKGC 在一般知识图谱和常识知识图谱上的未来研究方向。