Mapping Text to Knowledge Graph Entities using Multi-Sense LSTMs

方法

    本文方法主要有两部分组成。（1）将知识图谱用带权重的文本特征进行拓展，然后利用随机游走生成集合序列输入到skipgram模型，从而生成KB空间。（2）将text转化为KB中的entity可以通过一个multi-sence监督模型（lstm+消歧机制），将每一个text生成一个KB空间的点。

 

实体向量的文本特征

      对于KB空间，我们将根据Perozzi et al. (2014)提出的通用方法，我们从KB中手工收集一个随机游走的集合，作为skipgram模型的输入。对于一个随机游走的序列n1，n2 ，...，nT，和上下文窗口大小c，skipgram模型将最大化下面这个函数

 

       因此，如果拓扑结构中两个节点相近，则两个向量也比较近。虽然这样的拓扑结构允许点之间相似性的比较，但是并不能直接用于与text to entity的任务，原因是在KB图中形成的社区（以及由此产生的向量空间的拓扑结构）主要反映的是特定于领域的层次结构和本体关系，而这些关系并不一定是通过引用实体的文本表示来体现的。因此，对于所提议的方法，一个重要的问题是如何在两个表示(embedding)之间提供有意义的联系，以便有效地将一种text转换成entity。

      在本文中，我们用文本特征(textual features)链接KG中的每一个点。文本特征与实体之间的边都有权重表示文本特征对实体的重要性。对于每一个实体，我们收集KG本身和BabelNet英语部分中所有可以描述该实体的文本表述。文本表述可以认为是短文档，表述中的每一个词都具有一个tf-idf的值，从而形成实体的文本特征集。

     只是图谱将以下述方式进行扩充：Tc是实体c的文本特征集，对于Tc中任意的t，我们增加一条边（t,c），且权重为tf-idfc(t)

。与Perozzi et al. (2014)使用均匀分布的采样策略相比，本文定义随机游走的过程如下：给定一个随机游走的起点n，其实体邻居集为cn={t1,t2,...,tN}，文本特征集合Tn={t1,...,tM}。因此，随机游走序列的下一个节点将通过下诉公式得到

 

 

 

    如果λ=0时，随机游走序列将仅从实体节点集合中获得，因此随机游走序列只包含实体节点。这将与Perozzi et al. (2014)提出的Deepwalk相同；如果λ=1时，效果将不那么直观。由于文本特征只与实体节点相连接，如果当前的节点是文本特征节点，则下一个节点将实体集合Cn中采样。因此当λ=1产生的随机游走路径将是实体节点和文本也正节点交替出现。λ取0-1之间的值，将在上述两种情况进行调整。具体情况如下图所示

 

A multi-sense LSTM

    本文提出一个text-to-entity 的神经网络框架，目标是给定一个text，在KB空间中产生一个点，找到最近的entity或者concept。模型通过训练扩展知识图谱的文本和实体向量。我们的结构对语义歧义是铭感的。所以需要一个消除歧义的机制。具体的网络结构如下图：

 

    网络结构有一个普通的embedding层，一个词义消歧层和两个LSTM网络将text编码为KG空间的向量。最终的目标就是MSE，如下。

 

N为训练样本的个数，x为输入的文本，y为目标实体的向量，f为上述的网络。为了解决词的歧义，每一个词都有一个generic embedding 和 k sense embeddings。sense embeddings可以认为是词在训练集中不同使用的类心，在训练过程中动态更新。此外，每一个词还有一个context embedding，有其上下文词的generic embedding平均得到。在已知context embedding的条件下，每一个sense embedding sij的概率如下，其中s‘ij = tanh(W sij+U ci)，W，U和U'为attentional network的参数

 

 

 

sij的更新如下，最终attention的输出为sij与其概率的加权和，然后作为LSTM的输入。

 

 LSTM的输入：context embedding,sense embedding加权和，generic embedding，所以如下图：

 

个人理解：

1. 加入文本信息，增加知识库中的实体通过文本特征的链接，从而增大知识库的稠密度。并且，从某种程度上加大实体之间的相似度。（本来知识库中两个实体不连接，现在可能通过相同的文本特征链接在一起，使其相似性更进一步）
2. 利用random walk 采样出序列
3. 利用skigram模型，学习实体的向量表示
4. 利用神经网络模型，将text进行向量表示，与3中得到的实体向量进行向量表示，学习出text的三种embedding
5. 利用word的embedding，通过网络，得到textembedding，选择与其最近的entity embedding，则改entity即为所求