HAN（Hierarchical Attention Network）

 

本文主要介绍CMU在2016年发表在ACL的一篇论文：Hierarchical Attention Networks for Document Classification及其代码复现。

该论文是用于文档级情感分类（document-level sentiment classification）的，其模型架构如下：

整个网络结构包括四个部分：

　　1）词序列编码器

　　2）基于词级的注意力层

　　3）句子编码器

　　4）基于句子级的注意力层

　　整个网络结构由双向GRU网络和注意力机制组合而成，具体的网络结构公式如下：

词序列编码器

给定一个句子中的单词 ，其中 i 表示第 i 个句子，t 表示第 t 个词。通过一个词嵌入矩阵  将单词转换成向量表示，具体如下所示：

接下来看看利用双向GRU实现的整个编码流程：

最终的

词级的注意力层

注意力层的具体流程如下：

上面式子中， 是  的隐层表示， 是经 softmax 函数处理后的归一化权重系数， 是一个随机初始化的向量，之后会作为模型的参数一起被训练， 就是我们得到的第 i 个句子的向量表示。

句子编码器

也是基于双向GRU实现编码的，其流程如下:

公式和词编码类似，最后的  也是通过拼接得到的

句子级注意力层

注意力层的流程如下，和词级的一致

最后得到的向量  就是文档的向量表示，这是文档的高层表示。接下来就可以用可以用这个向量表示作为文档的特征

分类

 

Reference

用于文本分类的多层注意力模型（Hierachical Attention Nerworks）

达观数据曾彦能：如何用深度学习做好长文本分类与法律文书智能化处理