【Convolutional Network Embedding of Text-Enhanced Representation for Knowledge Graph Completion】

《文本增强表示的CNN嵌入：Convolutional Network Embedding of Text-Enhanced Representation for Knowledge Graph Completion》阅读笔记

论文介绍

关键词（方法/相关描述）：TECRL；文本增强；嵌入表示；CNN；文本描述信息；特征信息；注意力机制；word2vec

作者/团队

华科Zhao Feng

发表期刊/会议

IEEE Internet of Things Journal（SCI一区）

代码

代码链接:link

0摘要

1 背景

①当前的研究主要集中在知识图谱中的三元结构和关系路径的知识表示，而没有充分利用外部文本信息来语义上补充知识表示。
②然而，现有的知识库，如智能健康和情感关怀系统，相对匮乏，结构性知识不完整，因此知识图谱补全变得至关重要。

2 解决的问题

利用外部文本信息来语义上补充知识表示

3 解决思路

提出了一种新颖的联合表示学习模型，引入了文本描述信息，并通过使用卷积神经网络（CNN）模型从文本数据中提取可靠的特征信息。

4 解决方法

基于注意机制，所提出的模型区分了不同关系的特征可信度，增强了现有知识图谱中实体关系结构向量的表示，并获取了丰富的语义信息。
最后，使用2-D卷积操作处理实体和关系的联合表示向量，以获得非线性特征，并通过计算实体和关系的联合表示向量的分数函数来完成知识图谱。

1 介绍

①高复杂度影响大规模知识图谱的构建：大多数人工神经网络降维方法都是在低维空间中找到知识的语义向量表示，同时保留原始图的结构特征。实体和关系之间的相互作用使通过向量空间中向量表示的数学计算来传播的。

②不确定性降低了鲁棒性和可扩展性：采样空间的不确定性造成训练模型在不同数据集上的实验效果有很大的差异

③缺失实体提及导致严重的训练偏差：相关文本中提取的实体可能在原始知识图谱中不存在，或者KG中对应的实体可能存在歧义

④向量空间差异降低性能：嵌入向量（从知识图谱中现有的三元组中学习的）和文本表示向量（从文本语料库中与关键字相关的上下文信息中学习），两种类型的向量在训练过程中都不能传播梯度和相互作用，

2 相关工作

3 方法

利用卷积操作从外部文本获取有用的信息
利用三元结构向量和文本表示向量进行融合

3.1模型结构

使用外部文本数据实现语义增强学习和有效知识融合
TECRL模型包括以下几个关键组件：将文本信息和卷积神经网络引入到知识图谱补全任务中

3.1.1 符号表示

模型利用卷积层运算从外部文本中获取有效信息。模型利用三元结构向量和文本表示向量进行融合；这种融合是对翻译向量语义的良好补充。文献[1]中提出的平移向量方法用于基于三元组结构获得实体和关系的向量表示hs、ts和rs。用于文本描述的向量表示的文本预处理以两种方式执行。首先，对于头实体表示h_t和尾实体表示t_t，我们分别找到包含实体注释的句子集，为每个句子分配一个权重向量，并获得实体描述的文本语义。其次，为了获得关系向量，需要找到包含两个共现实体的句子集，并根据注意力机制学习文本中两个实体之间的潜在关系向量r_t。最后，在训练目标下，利用融入文本语料库的知识图谱来表示学习模型，学习实体和关系的语义增强向量。

3.1.2 结构化实体/关系嵌入

传统的KG向量表示学习，通常是将内部结构信息映射到低维连续向量空间并构建一个线性或非线性的配分函数来评估三元组的可能性。训练的评估函数为：

得分函数越小，可能性概率越大。

3.1.3 文本内容表示

TextCNN使用CNN分类文本关系。
本文使用CNN实现相关文本描述的嵌入向量表示，并根据句子中包含的实体引用的差异对文本实体向量和文本关系向量进行分类。

3.1.4联合表示学习

KG结构信息：使用TransE获取相关三元组向量表示
外部文本信息：使用CNN获取三元组对应上下文语义表示向量

①文本描述信息引入： 模型将文本描述信息与知识图谱中的实体和关系相结合。通过卷积神经网络（CNN），模型从文本数据中提取特征，将文本信息融入到实体和关系的表示中。
②注意机制： TECRL模型采用注意机制来区分不同关系的特征可信度。这有助于增强已有知识图谱中的实体关系结构向量的表示，以及获得更丰富的语义信息。
③联合表示向量处理： 模型使用二维卷积操作处理实体和关系的联合表示向量，以获取非线性特征。这有助于提高知识图谱补全任务的预测性能。

3.2算法

4 实验