python知识图谱关系抽取算法_一种适用图文知识图谱的关系抽取方法与流程

本发明涉及信息处理领域，特别涉及图像目标检测以及知识图谱中的关系抽取算法。

背景技术：

图像目标检测目的是在于检测图像中包含的所有物体，基本做法是将图像划分区域后再对每个区域进行图像分类。

知识图谱中的一个关键技术就是关系抽取算法。目前主要使用神经网络来解决关系抽取问题，将词向量和位置向量进行联合训练。然而目前已有的关系抽取全部是应用于文字信息中，本发明通过融合知识图谱与图像特征的信息，解决图文知识图谱的关系抽取问题。

技术实现要素：

为了解决现有的技术问题，本发明提供了一种适用图文知识图谱的关系抽取技术方案。方案如下：

步骤一，我们将图像输入物体检测系统得到物体集合以及视觉短语特征。

步骤二，我们使用视觉短语系统得到图像所含物体关系的视觉短语。

步骤三，我们使用翻译嵌入系统得到图像语义特征，通过计算向量预测出关系。

步骤四，通过融合视觉短语系统以及翻译嵌入系统的输出得到图像中关系的最终预测。

附图说明

图1是本发明提供的图文知识图谱关系抽取的网络结构图。

具体实施方式

接下来将对本发明的实施方法作更详细的描述。

图1是本发明提供的图文知识图谱关系抽取的系统结构图，其中包括：

步骤S1：物体检测系统得到图像中的物体集合以及视觉短语特征。

步骤S2：视觉短语系统得到图像视觉特征。

步骤S3：翻译嵌入系统得到图像语义特征。

步骤S4：融合视觉短语系统以及翻译嵌入系统的输出，使用分类器得到图像中的对象关系。

下面将对每个步骤进行具体的说明：

步骤S1：输入图像进入物体检测系统得到图像中检测到的所有物体集合以及视觉短语特征I。

物体检测系统中我们使用VGG-16为底座的Faster-RCNN网络来提取图片中的物体。图像首先经过神经卷积网络得到特征图，然后经过RPN(region proposal network)网络得到感兴趣的区域，将各个区域图像进行分类，通过统计得到对可能的物体分类从而得到图像中包含的所有物体。将物体经过神经网络的特征输出作为视觉短语特征，得到下一级的输入。

步骤S2：输入物体集合中的实体s和o以及视觉短语特征I，经过视觉短语系统得到包含实体关系的图像视觉特征。使用预先对文本学习到的下先验知识，将输入的实体s和o向量化，并和从图片中提取的特征I映射到关系空间后串联，计算后输出视觉短语系统的关系得分。

在视觉短语系统中，我们使用文本信息来帮助模型从图像中找到应该注意的物体。我们使用视觉短语来提供更完备的关系信息，视觉短语中包含两个物体的共同特征。我们通过计算两个实体名称词向量word2vec来帮助寻找两个物体之间的相互关系。视觉短语的得分定义为：

Sp,s,o＝δ(Up(word2vec(o)⊙word2vec(s)+UII))

其中δ是激活函数，s和o为检测出的两个实体名称，Up和UI是词向量和视觉特征的映射矩阵，I表示物体检测模块提供的视觉短语特征。

步骤S3：输入物体集合中的实体s和o以及视觉短语特征I，经过翻译嵌入系统得到图像语义特征。

在翻译嵌入系统中，我们将知识表示中的TransR引入视觉领。我们使用h，r和t分别表示实体，关系和客体。在视觉关系抽取中，我们从图片中抽取特征实体的特征xo,xs,系统会学习一个关系向量的表示r以及映射矩阵Us,Uo。我们将图像特征转换后的实体定义为：

h＝δ(Usxs⊙word2vec(s)),t＝δ(Uoxo⊙word2vec(o))

输入物体检测系统的输出实体s，将其向量化后与图片中抽取的特征映射串联得到实体h。

对于每个关系r我们设置一个独立的映射矩阵Mr，通过映射矩阵将实体向量映射到关系空间之中。在r的关系空间中，我们将实体定义为：

hr,s＝hMr,tr,o＝tMr

图像中的实体视觉特征经过量化并映射到相应的关系空间，通过计算h和t的差值即约等于关系向量，从而预测出实体的关系。有关得分函数定义为：

Sr,s,o＝r(hr,s-tr,o)

步骤S4：输入视觉短语系统的输出Sp,s,o和翻译嵌入系统的的输出Sr,s,o，经过分类器得到最终的关系预测Sr,p。

融合视觉短语系统以及翻译嵌入系统的输出，也就是使用分类器预测关系的概率。分类器的输出就是关系预测的最终得分。我们定义预测关系的得分为：

Sr,p＝softmax(W(Sr,s,o+Sp,s,o))

以上结合附图对所提出的图文知识图谱中的关系抽取系统的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。