Hierarchical Attention Network for Document Classification

数据：
每个document由多个句子组成，每个句子由多个单词组成。

注意力：
一个文档中，哪些句子可以决定它的分类？句子中，哪些单词比较重要？

模型结构图：

word层面的注意力机制
对每个句子，进行一样的下列操作。这里我们对第$i$个句子进行处理：
$u_{it}=tanh(W_w{h}_{it}+b_w)$

${\alpha }_{it}=\frac{exp(u_{it}^T{u}_w)}{{\sum }_{t}exp(u_{it}^T{u}_w)}$

$s_i={\sum }_t{\alpha }_{it}{h}_{it}$

Note: 在实现的时候，只有一个$W_w$和$u_w$，需要进行学习，也就是说，它们作用于每个文档里的每个句子。当以mini-batch形式喂给网络的时候(batchsize, max_sen_length, max_word_len)，先将其reshape成(-1,max_word_len)，再进行上面的公式步骤，当权重归一化的时候，再reshape成(batchsize,max_sen_length)。

sentence层面的注意力机制
对每一个document进行下列操作
$u_i=tanh(W_s{h}_i+b_s)$

${\alpha }_i=\frac{exp(u_i^T{u}_s)}{{\sum }_{i}exp(u_i^T{u}_s)}$

$v={\sum }_i{\alpha }_i{h}_i$

Note:同样只有一个$W_s$和$u_s$，需要进行学习。$v$就是最后得到的文档表示，用于分类。