ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classificatio

ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification

领域：

远程监督
句子级别的关系识别

创新点：

pattern 模式引入，得到更高置信度的实例，清洗数据上做的功夫

核心：

认为针对某种关系的特定模式对于关系的识别具有重要的作用，因此，提出了注意力正则化的方式使模型能够更加关注那些重要的模式（比如，出生于中，was born in 对于关系的识别就比较重要），能解释该关系标签的模式，在利用学到的墨香，去判断instance是否为正例，------------迭代式训练

原因：

在使用BILSTM+ATT时，对于五个部分的句子权重分配，如下所示，过多得关注了实体，对于背景信息关注较少。

但这里说的average attation?不是对句子中的每个部分做平均化

前人的研究：

在处理噪声问题时，具有三种范式，
一是，包级别的多实例学习，认为bag中至少有一个句子表达了这个关系
二是，句子级别的预测，对比学习、强化学习选择最trust的 data
三是，依赖于pattern的学习。
（我认为这里总结的不是很好，因为DS主要是包和句子级别两种，包级别一般是考虑如何对包内的信息降噪，选择最trust的embedding或者instance做包级别的关系分类；句子级别是考虑识别每一个句子的真实label，因此，一般是采用迭代训练的方式，即在初始数据文本上先训练一个分类器，在利用这个分类器产生更多的优质数据，在优化这个分类器）

总体流程：

两步：+一步M选择

一是词向量表示，
采用LSTM+ATT的形式，
考虑到noisy data ,提出注意力正则化，根据pattern，计算注意力值，文中pattern是以实体之间的词作为pattern。
具体的as和am计算见文中公式。
loss函数是两部分的和，一是分类损失，二是注意力正则化的损失

二是选择instance，
根据置信度，选择得分高作为正实例
三是pattern的选择上，依旧是迭代。

1. a pattern extractor Ewhich can extract a relation patterns from an instance, 2) an initial trustable pattern set M (whichmight be manually collected or simply counted up
   from original training dataset D using E)

整个流程是：

RC 模型仅使用 M 中的 m 训练 epochs。接下来，在 D 上运行实例选择以选择更有信心的训练数据。这些新的可信实例被馈送到 E 以找出新的可信模式并将它们放入 M（pattern set）

模型图没有看太懂。。