来源:2017.ICLR
使用自注意力进行句子嵌入
本文提出了一种通过引入自我注意来提取可解释句子嵌入的模型。作者不使用向量,而是使用二维矩阵来表示嵌入,矩阵的每一行都参与句子的不同部分。并且作者为模型提出了一个自注意机制和一个特殊的正则化项。并且提供了一种简单的方法来可视化句子的哪些特定部分被编码到嵌入中。
图:将所提出的句子嵌入模型应用于情感分析的示例,并结合了全连接层和 softmax 层。
- 一、模型
- 1.1双向LSTM
假设一个由n个单词组成的句子,这n个单词经过嵌入后,形成一个向量序列S,每个单词嵌入向量为d,则S的形状为n*d: