实体链接日记(五)

参考文献:Le P, Titov I. Improving entity linking by modeling latent relations between mentions[J]. arXiv preprint arXiv:1804.10637, 2018.
代码地址:https://github.com/lephong/mulrel-nel

摘要

实体链接就是将一段文本中的实体指称连接到知识库中对应的实体的过程,以往的实体链接的方法利用监督学习的方法或者启发式学习的方法去预测实体之间的联系,但是我们利用神经网络的模型,将实体之间的关系看做是是一个潜在的变量,引入了一种端到端的学习的方法,它的训练收敛速度更快，这表明注入结构偏差有助于解释训练数据的规律性。现目前实体链接的方法一般使用现成的系统,然后用一个个pipeline的方式,将他们组合在一起,有时候也考虑到句法语义与同位词,另外也有一些工作忽略了一些实体关系而使把他们每一个知识库的实体当做了一个个词袋,为了证明这一点，我们将关系编码为潜在变量，并通过端到端的方式优化实体链接模型来归纳它们。我们的这个方法不需要有多少的领域知识,利用了表示学习的方法,还要实体,指称向量等.我们的方法引入这些关系类似于共指关系,但是,而其他的的方法大多是讨论指称之间的语义联系.

如下图,第二个England和第一个England 的所链接的实体是不一样的,如果知道他们和world cup的之间的关系,很轻而易举的得到他们之间的区别.

相关工作

1. Local and global models

• 局部模型就是只考虑到实体指称的上下文
  和候选实体E之间的相似性,得分高的则为选定的候选实体.以下就是局部模型主要做的内容.大多数方法通过获得他们之间的语义相似剫
  
• 全局模型不仅使用上下文本的信息还考虑到了实体的连贯性,D为文档
  
  但是全局模型很容易出现NP-hard(也就是计算复杂,损耗大)的问题, Ganea and Hofmann (2017)通过LBP模型克服了这一个问题,Globerson
  et al.提出了一个星型模型，通过将方程2中的解码问题近似分解为n个解码问题。

2.指称之间的关系

以前的方法大多使用共指消解的方法来计算实体之间的关系,具体可以参考https://www.bilibili.com/video/BV1pt411h7aT/?spm_id_from=333.788.videocard.1.

我们局部模型主要是使用了表示学习的方法去计算局部的模型的得分.

3.多种关系模型

以下三种为关系模型

Figure 2: Multi-relational models: general form
(top), rel-norm (middle) and ment-norm (bottom).
Each color corresponds to one relation.

3.1 General form

我们假定这里面有k个潜在的关系,每一个关系k指向每一个指称对(mi,mj)

Ok(ei,ej,D)可以是任何的文档对的方法,但是在这里我们采用G&H的文本方法

权重aijk的算法如下

3.2 Rel-norm: Relation-wise normalization

3.3 Ment-norm: Mention-wise normalization