论文：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

论文：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

 

关系分类中的的一个挑战是决定分类的重要信息再句子中的位置是不确定的，本文提出基于注意力机制的bi-lstm模型，能捕获句子中最重要的语义层面的信息。

 

模型主要由五个部分组成：

（1）输入层：输入句子

（2）Embedding层：将词映射到低维稠密向量

（3）LSTM层：获取高阶特征

（4）Attention层：通过权重向量和bilstm的各个时刻的隐藏层状态相乘求和，将词级别的特征融合成为句子级别的特征

（5）输出层：将最后一层的句子级别的特征向量用于关系分类

 

Attention层详解：

是lstm输出隐藏向量 构成的矩阵，

通过下式，获取最终句子表示，用于下一层的分类。