知识图谱:表示、获取与应用综述

本文发表在IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 2022

---

基本信息

原英文标题： A Survey on Knowledge Graphs: Representation,Acquisition, and Applications
关键词： 深度学习，知识图谱补全(KGC)，知识图谱，推理，关系提取，表示学习

---

一、知识图谱概述

知识图谱是事实的结构化表示，由实体、关系和语义描述组成。实体可以是现实世界对象和抽象概念，关系以及实体的语义描述表示了实体之间的关系。

知识库和知识图谱的示例。(a) 知识库中的事实三元组。(b) 知识图谱中的实体和关系。

1. 符号及描述

符号	英文解释	中文翻译
$$\mathcal{G}$$	Knowledge graph.	知识图谱。
$$\mathcal{F}$$	Set of facts.	事实集合。
$$(h,r,t)$$	Triple of head, relation, and tail.	头实体、关系和尾实体的三元组。
$$(\mathbf{h},\mathbf{r},\mathbf{t})$$	Embedding of head, relation, and tail.	头实体、关系和尾实体的嵌入表示。
$$r\in \mathcal{R},e\in \mathcal{E}$$	Relation set and entity set.	关系集合和实体集合。
$$v\in \mathcal{V}$$	Vertex in the vertex set.	顶点集合中的顶点。
$$\xi \in {\mathcal{E}}_{\mathcal{G}}$$	Edge in the edge set.	边集合中的边。
$$e_s,e_q,e_t$$	Source/query/current entity.	源/查询/当前实体。
$$r_q$$	Query relation.	查询关系。
$$⟨w_1,\dots ,w_n⟩$$	Text corpus.	文本语料库。
$$d(\cdot )$$	Distance metric in specific space.	特定空间中的距离度量。
$$f_r(\mathbf{h},\mathbf{t})$$	Scoring function.	评分函数。
$$\sigma (\cdot ),g(\cdot )$$	Nonlinear activation function.	非线性激活函数。
$${\mathbf{M}}_r$$	Mapping matrix.	映射矩阵。
$$\hat{\mathbf{M}}$$	Tensor.	张量。
$$\mathcal{L}$$	Loss function.	损失函数。
$${\mathbb{R}}^d$$	( d )-dimensional real-valued space.	( d ) 维实数空间。
$${\mathbb{C}}^d$$	( d )-dimensional complex space.	( d ) 维复数空间。
$${\mathbb{H}}^d$$	( d )-dimensional hypercomplex space.	( d ) 维超复数空间。
$${\mathbb{T}}^d$$	( d )-dimensional torus space.	( d ) 维环面空间。
$${\mathbb{B}}_c^d$$	( d )-dimensional hyperbolic space with curvature ( c ).	曲率为 ( c ) 的 ( d ) 维双曲空间。
$$\mathcal{N}(\mathbf{u},{\sigma }^2\mathbf{I})$$	Gaussian distribution.	高斯分布。
$$⟨\mathbf{h},\mathbf{t}⟩$$	Hermitian dot product.	厄米特点积。
$$\mathbf{t}\odot \mathbf{r}$$	Hamilton product.	哈密顿积。
$$\mathbf{h}\circ \mathbf{t},\mathbf{h}\odot \mathbf{t}$$	Hadmard (elementwise) product.	哈达玛（逐元素）积。
$$\mathbf{h}\star \mathbf{t}$$	Circular correlation.	圆周相关。
$$concat(),[\mathbf{h},\mathbf{r}]$$	Vectors/matrices concatenation.	向量/矩阵连接。
$$\mathbf{\omega }$$	Convolutional filters.	卷积滤波器。
$$\ast$$	Convolution operator.	卷积运算符。

2. 定义

• def 1: 知识图谱定义为 G = { E , R , F } \mathcal{G} = \{\mathcal{E}, \mathcal{R}, \mathcal{F}\} G={E,R,F}，其中$\mathcal{E}$、$\mathcal{R}$ 和 $\mathcal{F}$ 分别是实体、关系和事实的集合。一个事实表示为一个三元组 $$(h,r,t)\in \mathcal{F}$$
• def 2: 知识图谱获取信息并将其整合到本体中，并应用推理器派生出新的知识
• def 3: 知识图谱是由实体和关系组成的多关系图，实体和关系分别被视为节点和不同类型的边

3. 知识图谱研究分类

• 知识表示学习
• 知识获取
• 时间知识图谱
• 知识感知应用

二、知识表示学习

1. 表示空间（表示实体和关系）

关键问题：需要学习实体和关系的低维分布嵌入
需满足：评分函数的可微性、计算可能性和可定义性

不同空间的知识表示示意图。(a)逐点空间。(b)复向量空间。c)高斯分布。d)流形空间。

2. 评分函数（衡量事实合理性）

典型评分函数

• 基于距离：通过计算实体之间的距离来衡量事实的合理性
• 基于语义相似度：通过语义匹配来衡量事实的合理性
  
  (a)基于平移距离的TransE评分。(b)基于语义相似度的DistMult评分

3. 编码模型（实体和关系之间的交互建模）

• 线性模型：通过将头部实体投射到靠近尾部实体的表示空间中，将关系表述为线性/双线性映射。
• 因式分解：目的是将关系数据分解为低秩矩阵进行表示学习。
• 神经网络：通过匹配实体和关系的语义相似度，对具有非线性神经激活和更复杂网络结构的关系数据进行编码。
  
  (a) CNN输入三元组进入密集层，进行卷积运算，学习语义表示。(b) GCN作为知识图的编码器，产生实体和关系嵌入。© RSN对实体-关系序列进行编码，并区分跳过关系。(d)基于transformer的CoKE将三元组编码为序列，其中实体由[MASK]代替。

4. 辅助信息（利用外部信息）

多模态嵌入结合外部信息，如文本描述，类型约束，关系路径和视觉信息，与知识图本身相结合，以促进更有效的知识表示。

• 文本描述
• 类型信息
• 视觉信息:利用视觉信息(如实体图像)丰富KRL
• 不确定信息

开发一个新的KRL模型要回答以下四个问题:1)选择哪个表示空间;2)如何在特定空间中度量三元组的合理性;3)使用哪种编码模型对关系交互进行建模;4)是否利用辅助信息。

三、知识获取

知识获取的目的是从非结构化文本和其他结构化或半结构化的来源构建知识图，完成现有的知识图谱，发现和识别实体和关系。

1. 知识图谱补全（KGC）

由于知识图的不完备性，KGC被用于向知识图谱中添加新的三元组。典型的子任务包括链接预测、实体预测和关系预测。

• 基于嵌入的方法（无法捕捉多步关系）
• 基于关系路径的推理
• 基于逻辑规则的推理
  
  逻辑规则学习的示例。a)KALE。 (b)pLogicNet。

元关系学习（新方向）:现实世界的知识场景是动态的，通常会在新的场景获得不可预见的三元组，称为元关系学习或少量样本学习关系学习，要求模型只用很少的样本来预测新的关系事实，旨在在低资源环境中学习对未见关系的快速适应。

2. 实体发现

在不同的情况下探索与实体相关的知识

• 实体识别
  实体识别或命名实体识别（NER），当它专注于特定命名实体时，是一个在文本中标记实体的任务。
• 实体消歧
  实体消歧或实体链接是一个统一的任务，它将实体提及链接到知识图中对应的实体。
• 实体类型
  实体类型包括粗粒度和细粒度类型，后者使用树形结构的类型类别，通常被视为多类别和多标签分类
• 实体对齐（EA）
  上述任务均涉及从文本或单个知识图中发现实体，而EA旨在融合各种知识图之间的知识
  
  实体发现任务的示例插图。a)使用LSTM-CRF进行实体识别。b)使用IPTransE进行实体对齐。

3. 关系抽取

关系抽取是通过从普通文本中提取未知关系事实并将其添加到知识图中来自动构建大规模知识图的关键任务。

NRE研究概况

• 神经网络关系抽取：神经网络被广泛应用于NRE。
• 注意机制：许多变体的注意机制与CNN结合，包括用于捕获单词的语义信息的单词级注意力和对多个实例进行选择性关注以减轻嘈杂实例的影响。其他辅助信息也被引入以丰富语义表示。
• 图卷积网络：GCN被用于对句子进行依赖树编码或学习KGE以利用关系知识进行句子编码
• 对抗训练
• 强化学习：RL最近通过使用策略网络训练实例选择器集成到NRE中。

联合实体和关系提取：传统关系提取模型利用流水线方法首先提取实体，然后对关系进行分类。但是流水线方法可能导致误差累积。

四、时序知识图谱

当前的知识图谱研究主要集中在静态知识图谱上，其中事实不随时间变化，而知识图谱的时间动态则较少探索。然而，时间信息非常重要，因为结构化知识仅在特定时期内有效，而事实的演进遵循时间序列。最近的研究开始将时间信息纳入KRL和KGC，这被称为临时知识图谱，

1. 时间感知嵌入：在时间感知嵌入中考虑时间信息，通过将三元组扩展为时间四元组 (h,r,t,τ)，其中 τ 提供了关于事实发生时间的额外时间信息。
2. 动态实体：现实世界的事件会改变实体的状态，从而影响相应的关系。
3. 时间依赖关系：关系链中存在的时间依赖关系
4. 时间逻辑推理

五、知识感知应用

知识图的应用包括两个方面:
1)kg内应用，如链接预测和NER;
2)kg外应用，包括关系提取和更下游的知识感知应用，如问答和推荐系统。

• 语言表征学习
• 问答系统
  1)单一事实QA: 将知识图谱作为外部智力来源，简单事实QA或单一事实QA是回答涉及单个知识图谱事实的简单问题。
  2)多跳推理: 为了处理复杂的多跳关系，需要更专门的设计来实现多跳常识推理。结构化知识提供了丰富的常识性观察结果，并作为关系归纳偏差，促进了多跳推理中符号和语义空间之间常识性知识融合的研究。
• 推荐系统

未来研究

1. 复杂推理： 虽然基于嵌入的方法在复杂逻辑推理方面存在局限性，但关系路径和符号逻辑两个方向值得进一步探索。一些有前途的方法，如循环关系路径编码、基于gnn的消息传递知识图谱和基于rl的寻路和推理，是处理复杂推理的新兴方法。
2. 可解释性： 进一步的工作应该是知识表示和注入的可解释性和提高预测知识的可靠性。
3. 大规模知识图谱的可扩展性
4. 自动构建和动态： 当前的知识图谱高度依赖手工构建，这是一项费时费力且昂贵的工作。在不同的认知智能领域广泛应用知识图谱需要从大规模非结构化内容中自动构建识图谱。近期的研究主要致力于在现有知识图谱的监督下进行半自动构建。面对多样性、异质性和大规模应用，自动构建仍然是一个巨大挑战