ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification
领域:
远程监督
句子级别的关系识别
创新点:
pattern 模式引入,得到更高置信度的实例,清洗数据上做的功夫
核心:
认为针对某种关系的特定模式对于关系的识别具有重要的作用,因此,提出了注意力正则化的方式使模型能够更加关注那些重要的模式(比如,出生于中,was born in 对于关系的识别就比较重要),能解释该关系标签的模式,在利用学到的墨香,去判断instance是否为正例,------------迭代式训练
原因:
在使用BILSTM+ATT时,对于五个部分的句子权重分配,如下所示,过多得关注了实体,对于背景信息关注较少。
但这里说的average attation?不是对句子中的每个部分做平均化
前人的研究:
在处理噪声问题时,具有三种范式,
一是,包级别的多实例学习,认为bag中至少有一个句子表达了这个关系
二是,句子级别的预测,对比学习、强化学习选择最trust的 data
三是,依赖于pattern的学习。
(我认为这里总结的不是很好,因为DS主要是包和句子级别两种,包级别一般是考虑如何对包内的信息降噪,选择最trust的embedding或者instance做包级别的关系分类;句子级别是考虑识别每一个句子的真实label,因此,一般是采用迭代训练的方式,即在初始数据文本上先训练一个分类器,在利用这个分类器产生更多的优质数据,在优化这个分类器)
总体流程:
两步:+一步M选择
一是词向量表示,
采用LSTM+ATT的形式,
考虑到noisy data ,提出注意力正则化,根据pattern,计算注意力值,文中pattern是以实体之间的词作为pattern。
具体的as和am计算见文中公式。
loss函数是两部分的和,一是分类损失,二是注意力正则化的损失
二是选择instance,
根据置信度,选择得分高作为正实例
三是pattern的选择上,依旧是迭代。
- a pattern extractor Ewhich can extract a relation patterns from an instance, 2) an initial trustable pattern set M (whichmight be manually collected or simply counted up
from original training dataset D using E)
整个流程是:
RC 模型仅使用 M 中的 m 训练 epochs。接下来,在 D 上运行实例选择以选择更有信心的训练数据。这些新的可信实例被馈送到 E 以找出新的可信模式并将它们放入 M(pattern set)
模型图没有看太懂。。