本文提出了基于句子级别的注意力机制模型
主要内容:为缓解远程监督带来的错误标签问题,提出了基于句子级别的注意力机制模型。该模型使用CNN抽取句子的语义特征,然后在多实例上构建句子级别的注意力机制,即动态减少嘈杂实例的权重并全面的获取实例的信息。
本文的贡献
充分利用每对实体的所有信息句
提出选择性注意力机制来减弱杂音句的影响
该文是首次尝试将注意力机制应用到远程监督关系抽取领域
本文提出的模型包括两部分:
- 使用CNN对句子进行编码
- 在编码后的句子上使用注意力机制来选取表达了相应关系的句子
该论文的大致结构分为以下几部分:
一、句子编码:
使用CNN作为编码器,构造句子的分布式表示
- 神经网络输入表示:使用word2vec训练词向量,结合位置向量一起作为神经网络的输入部分
- 卷积:将卷积窗口(滤波器)与输入序列进行点积运算,卷积层的第i个滤波器得到的结果如下: