【论文笔记】Neural Relation Extraction with Multi-lingual Attention

一、概要
  该paper发于ACL2017上，作者主要基于关系事实通常在各种语言中存在某种模式表达，并且不同语言之间的模式是不同的这两个动机，针对于当前存在的单语言关系抽取的方法，从而存在忽略不同语言中存在大量信息的问题，作者提出了一个基于多语言交叉Attention机制实体关系抽取方法，可以充分不同语言中的关系模式，从而增强关系模式的学习，文中提出的Multi-lingual Attention-based Neural Relation Extraction (MNRE)模型相对单语言模型有较好地提升。
二、模型方法
2.1 模型结构

2.2 Sentence Encoder
  作者对比的CNN、GRU，以及LSTM对句子进行编码为distributed representation，在计算效率即效果上发现CNN最好，所以使用CNN对输入句子进行Encoder。
  这里同样使用了word embedding与position embedding作为Input Representation，具体可以查看【论文笔记】Relation Classification via Multi-Level Attention CNNs对应的内容，之后使用了包括滑窗、卷积、分段Maxpooling、以及tanh函数，从而从输入句子中得到关于目标实体的关系模式的编码。

2.3 Multi-lingual Attention
 ①Mono-lingual Attention
  对于第j种语言对应的句子集合$S_{j}$，其mono-lingual vector计算方法如下：

$S_{j}=\sum_{i}\alpha_{j}^{i}x_{j}^{i}$
  其中 $\alpha_{j}^{i}$是对应句子向量 $x_{j}^{i}$的Attention权值，其计算方法如下：
αij=