自然语言炼丹之路（三之九）筑基丹han_attention

Hierarchical Attention Networks for Document Classification 用层次注意力网络来做文档分类

这是卡内基梅隆大学/微软研究院的yang zichao在2016发在NAACL上的。提出了一种层次注意力机制，在词级别和句子级别用两种注意力机制来选择重要信息。之前的文本分类忽视了不同句子和不同词语对文本分类重要性不同，是隐式去学习到这点，但文本过大时可能会覆盖重要词句的贡献，所以使用层次attention去解决这点。另外，同样词句在不同上下文重要性肯定也是不同的，这一点在新模型也能很好学到。

背景知识

（一）attention

主要是搞清Query、Key、Value都是什么。见自然语言炼丹之路（三之八）筑基丹attention。

（二）经典文本分类模型

TextCNN、CharTextCNN、fasttext等。

HAN_Attention

可以看到结构还是比较简单的，输入词表示，通过双向GRU和attention生成句子表示，然后再通过双向GRU和attention生成文档表示，最后softmax一下进行文本分类。$h_{it}$就是第i个句子第t时间步的词的输出，$u_{it}$是$h_{it}$的通过tanh的全连接层映射，也就是key和value；这里没有query，所以本文随机设置一个可训练矩阵代替query。

历史意义

1. 推动Attention在非seq2seq模型上的应用。
2. 通过层次方式处理长文档的方法逐渐流行。