《Neural Relation Extraction with Selective Attention over Instances》浅析

今天打算读 《Neural Relation Extraction with Selective Attention over Instances》

在此记录一下学习过程

论文名称是基于实例和选择性注意机制的神经关系提取（其实就是用到了神经网络和注意力机制）

1.什么是远程监督关系抽取

详细见Distant supervision for relation extraction without labeled data 

为了不过分依赖人工标注的数据，外国学者提出了远程监督的方式。这实际上是基于一种假设，把过程简化了。具体来说，就是用KB去对齐朴素文本。该假设认为，如果语料库一个句子中含有一个关系涉及的实体对，那么语料库所有包含这个实体对的句子就是描述的这个关系。比如，报纸里所有含有中国和北京的句子，全都假设说的是北京是中国的首都。

当然这个方法有很多缺陷，最大的问题就是噪声。就是你给很多句子打了错误的标签。

 

2.远程监督学习带来噪声问题，又有学者引入了multi-instance learning 的方法。

3.近期工作中有一种方法是 假设at least one sentence that mentions these two entities will express their relation, and only selects the most likely sentence for each entity pair in training and prediction. 但是很明显这种方法丢掉了大量有用信息（因为丢掉了很多句子）

4.本篇论文中作者的方法是 用 CNN 来嵌入句子的语义，使用句子级别的注意力机制，来解决噪声问题

具体方法：

1.从句子到向量：（包含词嵌入和位置嵌入两部分）

每个词对应一个向量：向量的维度假设为 d，那么d = da+ db × 2,其中da是词嵌入的维度，db是位置嵌入的维度，因为需要分别表示该单词到实体对头和尾的信息，所以x2；

2.Convolution, Max-pooling and Non-linear Layers

该部分和基本的CNN有关，略过

3. Selective Attention over Instances

此为重点

这里阿尔法是权重参数

说实话这段没看懂，到底是A、o怎么来的。

但是在另外一篇论文中，发现这个过程还是可以看懂的：

效果：

从图中可以看出加上attention的方法的效果是最好的。

 

这篇文章就大概看到这里啦，下面会继续做其他文章的笔记。