本文主要是论文推荐+模型比较
一、少样本知识图谱补全概述和相关内容
1、知识图谱概述
1.1知识图谱定义
知识图谱（knowledge graph，KG）用结构化的形式描述客观世界中概念、实体及其关系，它将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。
知识图谱以三元组的形式（头实体，关系，尾实体）存储知识和事件，以网络的形式作为展示，在网络中每个节点代表实体，节点之间相互连接的边代表关系。
知识图谱 G 表示为三元组 {(h,r,t)}⊆ E × R × E 的集合，其中 E 和 R 是实体集合和关系集合。每个三元组都由一个关系 r ∈ R 和两个实体 h,t ∈ E 组成，它们之间可以表示为头实体 h 到尾实体 t 有一条有向边r连接。
目前一些大规模知识图谱 NELL（never-ending language learner）、Wikidate、YAGO（yet another great ontology）等被广泛应用于各种自然语言处理任务中，例如语义搜索、智能问答、推荐系统等。
1.1.2知识图谱嵌入
知识图谱嵌入（knowledge graph embedding，KGE）旨在将实体和关系嵌入到潜在的低维数字表示中。
在过去几年，KGE 方法被证明在知识图谱补全任务上是有效的，并且许多 KGE 方法已经应用于知识图谱补全任务，其中包括TransE（translating embedding）、ComplEx（complex embeddings）和 ConvE（convolutional 2D knowledge graph embeddings）等方法。
但是目前的这些方法都假设知识图谱包含足够的实体和关系数据，然而在KG中少样本关系数据是广泛存在的 ，例如Wikidate中大约有10%的关系只有不超过10个三元组实例。此外，在实际应用的过程中，社交媒体或推荐系统产生的KG，会随着时间的流动进行动态更新，更新后的新关系通常只有少量的三元组实例。这种情况会导致大部分知识图谱补全方法的效果下降，因为这些方法都要求拥有足够的训练实例，所以在只拥有少数三元组实例的情况下，如何完成知识图谱补全任务是重要且具有挑战性的。
2、知识图谱补全概述
2.1知识图谱补全目的
尽管知识图谱中有着大量的实体、关系、三元组，但是现有的大部分知识图谱都是不完整的，具体体现在一些实体之间缺少对应的关系，一些头实体和关系间缺少对应的尾实体。
知识图谱补全任务（knowledge graph completion，KGC）旨在学习知识图谱中现有的实体关系三元组，进而推断出知识图谱缺失的实体或关系。
同时知识图谱中的大部分关系都是少于10个相关事实的长尾关系，引出了少样本知识图谱补全的研究。
2.2知识图谱补全任务分类
1、在已知两个实体 (h,?,t) 的情况下，预测其中的关系r ；
2、在已知头部实体和关系 (h,r,?) 的情况下，预测尾部实体 t 。
目前研究者更专注于后一种研究。
2.3少样本知识图谱补全面临的困难
1、少样本/零样本知识图谱补全程度不高
2、无法很好利用知识图谱中的结构信息
3、邻域信息的使用和去噪：忽略三元组周围的高阶邻域信息（多跳邻域信息）；在集合实体邻域信息时，有些实体并没有很多邻居信息，但是伴随编码范围的扩大，会引入很多无关的信息甚至是噪音信息
4、动态时序知识图谱补全任务相关研究较少
2.4少样本知识图谱补全的一些相关内容
1、背景知识图谱G'：当前知识图谱G的一个子集，其中包含和任务关系r相关的三元组
2、实体的一跳邻居集合Ne：一般在FKGC任务中 Ne也被称为实体e的邻域，它是由背景知识图谱G′产生，其中包含所有与实体e相连接的关系r和尾实体t
3、少样本关系的邻域：针对少样本关系 r 而言，它自身的邻域可以被定义为 {h,t,Nh,Nt} ，其中 h、t 是头实体和尾实体，它们和关系 r 可以构成一个三元组(h,r,t) ；Nh、Nt 是头实体和尾实体的一跳邻居集合。
二、少样本知识图谱补全方法简要介绍
1、基于度量学习的方法
度量学习的方法一般是从一组待训练的任务中学习到可概括的距离公式和相应的匹配函数，进而推广到新出现的任务中，此类方法大多采用深度孪生网络中所提出的通用匹配框架 Matching Nets。
在 KGC 中，很多 KGC 模型在训练过程中都需要大量的数据作为支撑，如果在FKGC任务中使用，就会面对性能受限制或者没有足够数据支持的问题。
1.1Gmatching
参考文献：Xiong W, Yu M, Chang S, et al. One-shot relational learning for knowledge graphs[J]. arXiv preprint arXiv:1808.09040, 2018.
Xiong等人在2018年提出（第一次定义少样本知识图谱补全概念）
Gmatching 模型的核心是利用实体嵌入信息和局部图结构来构建匹配度量函数。模型思想是针对当前任务的关系 r ，计算查询实体对与参考实体对的相似度，排序得到正确尾实体 ttrue 的排名。
邻居编码器：利用实体的一跳邻居增强每个实体的表示的信息量；传入（关系，邻居实体）；手动限定最大邻居数；
匹配处理器：将从邻居编码器中取得的任意两个实体对的向量表示，然后在两个实体对之间执行多步匹配，并输出标量作为相似度分数。
1.2FSRL
参考文献：Zhang C, Yao H, Huang C, et al. Few-shot knowledge graph completion[C]//Proceedings of the AAAI conference on artificial intelligence. 2020, 34(03): 3041-3048.
Zhang等人在2020年提出FSRL（few- shot relation learning）
1.3FAAN
参考文献：Sheng J, Guo S, Chen Z, et al. Adaptive attentional network for few-shot knowledge graph completion[J]. arXiv preprint arXiv:2010.09638, 2020.
1.4TransAM
参考文献：Liang Y, Zhao S, Cheng B, et al. Exploring entity interactions for few-shot relation learning (student abstract)[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(11): 13003-13004.
2、基于元学习的方法
元学习就是学会学习的学习，其特点是只使用少量的训练样本，也能快速学习新的概念或知识。在 FKGC的研究中，基于元学习的方法旨在学习训练任务中的关联三元组特征，从而在新的任务上进行泛化。
2.1MetaR
参考文献：Chen M, Zhang W, Zhang W, et al. Meta relational learning for few-shot link prediction in knowledge graphs[J]. arXiv preprint arXiv:1909.01515, 2019.
MetaR 模型是由 Chen 等人在 2019 年提出的，该模型是第一个将元学习应用于 FKGC 上的方法。MetaR 模型的核心是利用关系元信息和梯度元信息来加速模型的更新迭代与完成 FKGC任务。
2.2Meta-KGR
参考文献：Lv X, Gu Y, Han X, et al. Adapting meta knowledge graph information for multi-hop reasoning over few-shot relations[J]. arXiv preprint arXiv:1908.11513, 2019.
2.3GANA
参考文献：Niu G, Li Y, Tang C, et al. Relational learning with gated and attentive neighbor aggregator for few-shot knowledge graph completion[C]//Proceedings of the 44th international ACM SIGIR conference on research and development in information retrieval. 2021: 213-222.
2.4Meta-iKG
参考文献：Zheng S, Mai S, Sun Y, et al. Subgraph-aware few-shot inductive link prediction via meta-learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2022.
3、基于其他模型的方法
3.1基于双重过程理论的模型 CogKR
参考文献：Du Z, Zhou C, Ding M, et al. Cognitive knowledge graph reasoning for one-shot relational learning[J]. arXiv preprint arXiv:1906.05489, 2019.
3.2基于知识协同微调方法的模型KnowCo-Tuning
参考文献：张宁豫, 谢辛, 陈想, 等. Knowledge collaborative fine-tuning for low-resource knowledge graph completion[J]. Journal of software, 2022, 33(10): 3531-3545.
3.3基于对抗迁移学习的模型 wRAN
参考文献：Zhang N, Deng S, Sun Z, et al. Relation adversarial network for low resource knowledge graph completion[C]//Proceedings of the web conference 2020. 2020: 1-12.
3.4基于注意力机制的模型Attention-Model
参考文献：Xie H, Li A, Jia Y. Few-shot knowledge reasoning method based on attention mechanism[C]//Proceedings of the 2019 8th International Conference on Computing and Pattern Recognition. 2019: 46-51
3.5基于标准化流的知识图谱补全神经过程NP-FKGC
参考文献：Luo L, Li Y F, Haffari G, et al. Normalizing flow-based neural process for few-shot knowledge graph completion[C]//Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2023: 900-910.
三、少样本知识图谱补全实验比较
1、常用数据集
| 数据集 | 关系 | 实体 | 训练集 | 验证集 | 测试集 |
| NELL-One | 358 | 68545 | 51 | 5 | 11 |
| Wiki-One | 822 | 4838244 | 133 | 16 | 34 |
| NELL-995 | 37 | 3078 | - | - | - |
| Umls | 46 | 135 | 329 | 652 | 661 |
| WN18RR | 18 | 40943 | 88 | 3034 | 3134 |
| FB15K-237 | 37 | 14541 | 1896 | 17535 | 2000 |
2、常用评价指标
目前针对少样本知识图谱补全算法，还没有特定的评价指标，而是使用传统的知识图谱补全算法的评价指标 MRR 以及 Hits@n，其中 MRR 是每个少样本知识图谱补全算法普遍使用的评价指标，此外，不同的少样本知识图谱补全算法也会采用不同的Hits@n指标。
2.1MRR
MRR指标代表在所有预测的三元组中正确实体在预测结果中的平均排名的倒数，该指标数值越大代表正确实体的排名越靠前，是评价少样本知识图谱补全算法的重要指标。
2.2Hits@n
Hits@n 指标代表在所有预测的三元组中正确的缺失实体排名在前 n 名的概率，例如 Hits@1 代表正确的缺失实体在所有预测结果中排名第一的概率。该指标的数值越大代表少样本知识图谱补全算法的性能越好，常见的指标参数为 Hits@10、Hits@3 和Hits@1。
3、模型比较
| 分类 | 名称 | 发表年份 | 数据集 | 评价指标 | 优点 | 局限性 | 模型思路 |
| 基于度量学习的方法 | Gmatching | 2018 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 处理新添加的关系时也无需重新训练模型 | 平等地对待邻域中的不同信息 | 利用实体嵌入模型提取的信息、局部图结构来学习匹配度量函数 |
| FSRL | 2020 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 在参考三元组集合中集成了来自多 个三元 组的信息 | 赋予每种信息静态的权重 | 利用异构邻居解码器分配给邻域信息不同的权重 | |
| FAAN | 2020 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 使用了实体和关系的动态属性 | 忽略了三元组内部和三元组间的交互 | 利用自适应注意力邻居编码器和Transformer 编码器分别捕捉实体与关系的动态信息 | |
| TransAM | 2022 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 构建了一种新颖的匹配方法 | 不能处理复杂的少样本关系 | 利用注意力机制捕捉三元组内和三元组间实体的交互信息 | |
| 基于元学习的方法 | MetaR | 2019 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 利用梯度元学习使模型加速更新 | 忽略了参考集三元组对关系表示的影响 | 利用元学习来找到通用的参数，以快速适应新的关系任务 |
| Meta-KGR | 2019 | FB15K-237、 NELL-995 | MRR Hits@10 Hits@1 | 可以给出多跳的推理路径 | 不能找到没有路径的答案 | 将强化学习和元学习进行结合 | |
| GANA | 2021 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 去除了邻域中的噪音信息 | 在N-N上效果不好 | 通过门控网络和图注意力机制过滤邻域中的噪音信息 | |
| Meta-iKG | 2022 | FB15K-237、 NELL-995 | AUC-PR Hits@10 | 加入了多样本关系的更新过程 | 不能很好地解决反对称关系的三元组 | 利用局部子图来传输特定的子图信息 | |
| 基于其他模型的方法 | 注意力机制模型（Attention-Model） | 2019 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 减少模型参数 | 忽略了邻域中的噪声信息 | 利用注意力机制构建匹配函数 |
| CogKR | 2019 | NELL-One、 Wiki-One | MRR Hits@10 Hits@5 Hits@1 | 图结构的数据更加灵活，搜索效率提高 | 对长路径推理能力差 | 利用认知图谱结构对现有的知识图谱进行检索和更新迭代 | |
| wRAN | 2020 | FB1.5M、 FB15K-237-low | MRR Hits@10 Hits@5 Hits@1 | 识别不相关关系并降低其权重 | 对语义相似的样本在识别精度上有待提升 | 利用权重关系对抗学习减少负迁移的影响 | |
| KnowCo-Tuning | 2022 | Umls、WN18RR、FB15K-237(mini) | MRR Hits@10 | 训练简单且有效 | 忽略了实体自身的邻域信息 | 结合知识图谱的显示知识和预训练语言模型的隐式知识 | |
| NP-FKGC | 2023 | NELL、Wiki、FB15K-237 | MRR Hits@10 Hits@5 Hits@1 | 首次将神经过程用于FKGC | 二跳引入的噪声问题 | 考虑实体间关系路径信息 ；首次将神经过程用于FKGC ；采用标准化流解决复杂关系 |
注：后续会更新简要介绍每个模型的整体思路，具体模型详解请按参考文献自行查找
注：本文模型整理规划存在遗漏或偏差，后续补充更新新的参考文献及模型
注：我把不知道咋分类的模型都放到其他里面了
494
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
