融合多源信息的知识图谱嵌入

多源信息提供了知识图谱中三元组事实以外的信息，能够帮助构建更加精准的知识表示，仅使用事实进行知识图谱嵌入的方法忽略了蕴含在多源信息中的丰富知识，例如：实体类别信息、文本描述信息、关系路径等。充分利用这些多源信息对于降低实体与关系之间的模糊程度，进而提高推理预测的准确度至关重要。

1.实体识别

实体类别包含实体结构化的先验知识，这些先验知识是由人工构建的，能够在知识图谱三元组的结构信息上提供准确的辅助信息，加深模型对三元组的理解。
Guo 等人提出 (semantically smooth embedding, SSE)模型，认为属于同一语义类型的实体在嵌入空间中距离应该比较接近。SSE 利用流行学算法来约束这种平滑性假设，将两种算法的约束条件加到最大间隔方法里作为整个模型损失函数的正则化项，从而达到约束嵌入空间语义平滑的作用。
SSE 模型默认所有实体只有一个类别，然而，现实世界中的实体不仅有多个类别，而且类别间可能具有层次关系。实体类型可以作为不同关系的头实体与尾实体的约束，例如关系 DirectorOf的头实体的类型应该是人，尾实体的类型应该是电影作品。Xie 等人提出一种融合实体层次类型信息的模型 (type-embodied knowledge representation learning, TKRL)，引入具有层次结构的实体类别信息以及与关系之间的约束信息。TKRL 可以看做是带有实体层次类别信息的 TransR模型。
Jin 等人提出 TEKRL 模型，引入注意力机制来捕获实体类别和三元组之间的潜在联系，自动地学习实体的不同类别对某种特定关系的不同重要程度，解决了其他模型在使用实体类别信息时需要引入额外规则的问题。

2.文本描述

知识图谱中很多实体都带有描述信息，这些信息能够作为知识图谱中结构化信息的辅助，帮助模型学习更精准的知识表示。知识库的构建资源也往往从文本中获取，因此实体描述文本能天然的与知识空间进行交互。那些仅仅基于知识图结构化信息的知识表示模型无法处理不在知识图中的实体，而联合文本嵌入的方法可以做到互补，使得模型可以学习到那些在文本中出现而不在知识图中的实体。

Wang 等人首先提出联合知识图谱和实体描述文本的知识表示学习模型，该模型基于 TransE 和 Skip-gram模型的基本思想，利用实体名称或者维基百科锚文本作为对齐原则。在实际场景中，由于实体名称歧义性较大，利用实体名称对齐的原则会打乱文本原有的语义空间，而利用维基百科锚文本对齐的原则过于依赖特定的数据源。为了解决以上问题，Zhong 等人提出利用实体描述文本作为对齐原则。类似的，Zhang 等人也尝试使用实体名称和实体描述文本中词向量的均值作为实体的文本表示。
为了利用整个文本的语序语义信息，Xie 等人提出一种融合实体描述的知识表示模型 (description-embodied knowledge representation learning, DKRL)，在 TransE 模型的基础上融合实体描述的文本信息，为每一个实体设置两种知识表示。然而 DKRL 是一种弱关联建模，在融合实体基于结构的表示和基于文本的表示时没有足够的交互过程。Xiao 等人提出 SSP 模型（Semantic space projection，语义空间投影），将三元组的嵌入表示投影到语义子空间中，在语义子空间上学习实体的两种表示，与 DKRL 不同的是 SSP 采用主题模型建模实体的文本表示。相关的其他模型还有TEKE、ATEKE等。

3.逻辑规则

逻辑规则 (这里所说的逻辑规则主要指一阶 Horn 子句，例如：，表明任何由两个 HasWife 关系相连的实体都有 HasSpouse 关系) 包含丰富的背景信息。目前, AMIE，AMIE+，RLvLR等规则挖掘方法可以自动从KG中提取逻辑规则。
Guo 等人将三元组看做原子，提出了 KALE方法。给定一个逻辑规则，KALE 利用实体集合中的实体初始化逻辑规则，并采用 t-norm模糊逻辑连接原子三元组，将复合公式的真值定义为其成分真值的组合。通过这种方式，KALE 以一个统一的结构来表示三元组和规则。
由于硬规则依赖于手工设计与验证，而某些文本信息可以提取出来作为软规则。基于这个思想，Guo 等人在2017 年提出了 (rule-guided embedding, RUGE)。该模型采用迭代交互计算的形式, 首先利用软规则和学习到的知识表示预测无标签三元组的标签，然后利用预测的软标签和KG中已有标签的三元组重新完善知识表示。

4.关系路径

关系路径是指两个实体之间的多步关系，而不仅限于两个实体之间直接相连的关系。多步关系包含了两个实体之间丰富的语义关系，有助于多步推理。
Lin 等人在 TransE 模型的基础上将两个实体之间的多步关系路径看作两个实体之间相连的关系，提出了PTransE 模型。Guu 等人提出了另一种融合多步关系路径的知识表示学习模型，利用关系路径构建新的三元组，并且对 TransE 模型和 RESCAL 模型进行了扩展。
Niu 等人认为目前基于关系路径的表示学习模型仅利用路径上关系或实体表示的数值计算结果作为关系路径的表示，如果某些关系或实体表示不准确就会造成误差传播，并且这种方式缺乏可解释性。因此，提出一种联合路径和规则的知识表示学习模型 RPJE，利用 Horn 规则组合多步关系路径，并且关联组合后的路径与关系之间的语义信息以获得更加准确的路径表示。

5.其他信息

Xie 等人尝试融合实体图像信息学习实体跨模态的知识表示，提出了 (image-embodied
knowledge representation learning, IKRL)。该模型为每一个实体设置两种知识表示，并采用 AlexNet网络作为图像的特征提取器。
尽管融合多步关系路径的模型引入了其他的实体和关系，但是绝大部分模型只是将关系路径看作是两个实体之间的新关系，知识图谱的图结构信息并没有被完全利用。Feng 等人提出一种图感知的表示学习模型 (graph aware knowledge embedding, GAKE)，由于不同的实体和关系对于一个实体的影响不同，该模型利用注意力机制赋予不同关系和实体不同的权重。
目前有一些嵌入模型融合上述两种或多种信息来丰富实体和关系的语义信息，如 Du 等人提出一种融合实体描述信息及实体类型信息的表示学习方法；Xing 等人提出MKRL 模型，同时融合实体描述、层次类型和文本关系 3 种类型的信息。