[NLP论文阅读] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING

论文原文：A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING

引言

这篇文章提出了使用self-attention技术来生成可解释句子向量的模型。通常我们使用向量(vector)来表示单词、短语或者句子向量，在这篇文章中，作者提出可以使用二维句子来表示句子，矩阵的每一行表示句子的不同部分。作者在3个不同的数据集上进行了3种不同的task，分别是author profiling，sentiment classification以及textual entailment，都取得了不错的效果。

模型

作者提出的模型主要由2部分组成。第1部分是一个双向LSTM，第2部分是self-attention mechanism，该机制提供了对LSTM的隐藏层状态进行加和的权重。

模型结构图如下a：

模型的输入：$S=(w_1, w_2, ..., w_n) \in R^{n*d}$，一个含有n个token的序列，$w_i$表示序列中第i个token对应的word embedding

输入的S进入一个双向LSTM，第t个单词对应的前向和后向隐藏状态计算方法如下：

然后将前向和后向的隐藏状态进行连接得到用于后续计算的$h_t$，如果LSTM的隐藏单元数为u，则$h_t\in R^{2u}$。文中用句子$H\in R^{n*2u}$表示所有隐藏状态h的集合ÿ