实体消歧方法(2)__LNN-EL

论文: LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking

之前的方法使用启发式或黑盒神经方法，而在这里，我们提出了一种神经符号方法，它结合了基于一阶逻辑的可解释规则和神经学习性能的优点。

 

本文用LNN(Logical Neural Networks)来学习规则的参数。

逻辑神经网络(LNN) 提供了包含参数的操作符，从而可以更好地从数据中学习。为了保持FOL清晰的语义，LNN在学习 conjunction 等运算符时 加了约束。

LNN-∧ 表示为：

优化后表示为：

 LNN的否定操作：

 LNN disjunction定义为：

LNN-EL

 给定输入文本 T和标记好的数据,(mi代表T中的实体提及，Ci为mi的一系列候选实体eij，Li 表示(mi,eij)对 是 link还是not link的标记 )。第一步就是针对(mi,eij)生成特征的(fk是从用户提供的函数的目录F中提取的特征函数)

 Feature Functions

 本文特征函数集中包含基于嵌入的函数和基于非嵌入的函数。

Non-embedding

我们在这里包含了大量的函数，它们根据多种类型的分数度量提及mi和候选实体eij之间的相似性。

Embedding based

我们还使用一套预先训练或自定义训练的神经语言模型来计算mi和eij的相似度。

Pre-trained Embedding Models.

其中包括SpaCy的语义相似函数，该函数使用了在Common Crawl上训练过的Glove。除了SpaCy，我们还使用来自实体链接系统(如BLINK)的分数作为系统的特征函数。

 BERT Embeddings

为了进一步探索T中上下文的语义和目标KG的内在结构，我们通过在没有上述任何先验信息的情况下训练一个小型实体链接模型，引入了基于嵌入的相似性。

mi=BERT(mi, T)

eij=Wiki2Vec(eij)

候选实体排序方法：两者的余弦相似度。

 BERT with Box Embeddings

文本中同时出现的提及与KG中的相关实体的链接是加强每个单独提及的链接的一种方式。为此，我们调整了Query2Box，其目标是在一个KG上回答FOL查询。其主要思想是将实体集(例如，查询)表示为嵌入空间中的相邻区域(例如，轴并行超矩形或框)，从而将逻辑操作简化为几何操作。

相似度计算：

 

第一个操作表示实体提及mi是一个盒子,以最小的框囊括mi的候选实体集Ci。这可以通过计算Ci中的所有实体嵌入的 dimension-wise最小(最大)值，获取左下角(右上角)角落的盒子。第二个操作取mi的盒子，并在KG中产生包含它的邻居的盒子。

 

上图显示了 当探索共现实体提及和KG结构时这些操作是如何用于分歧Titanic的。

总的相似度计算： 

 

Model

我们描述了由一组析取规则组成的EL算法如何被重新表述成LNN表示进行学习。

Entity Linking Rules

它是由一组通过逻辑操作符(conjunction (∧) and disjunction (∨))连接的布尔谓词组成的受限形式的FOL规则。

上图中 Links 谓词表示 存储 实体提及与候选实体间的高质量链接，至少满足一个规则条件。 EL算法作为一个评分机制。   评分函数中的rwi 表示人工分配的规则所占的权重，fwi 表示人工分配的特征权重。

LNN Reformulation

为了便于学习EL算法中的阈值和权值，我们将布尔值逻辑规则映射到LNN形式化，其中LNN构造- LNN-∨(逻辑OR)和LNN-∧(逻辑and) ，允许在[0,1]中存在连续实值数。

 T L(f, θ) = f · σ(f − θ)  

θ = σ ( γ )

注：( f > θ) = f if f > θ else 0

训练模型

我们训练LNN 在标记的数据形成EL规则，并对Ci中的所有候选数据使用一个 margin-ranking 损失函数来进行梯度下降。

损失函数：

推理模型

 给定提及mi和候选集Ci，类似于训练，我们在特征生成步骤中为每个提及-候选对(mi, eij)生成特征。然后通过学习好的LNN网络，得到Ci中每个候选实体的最终分数。

实验结果