《Hierarchical Attention Networks for Document Classification》阅读笔记

动机：

通过将文档结构知识纳入模型结构，可以获得比之前方法更好的表征；

在应答一个请求时，并不是文档中的所有部分都与之相关，为了确定那些相关的部分，需要对词之间的互动建模，而不是仅对它们的出现单独建模；

贡献：

提出一个新的神经网络结构（Hierarchical Attention Network）来捕捉文档结构中的两种基本特征：

 （1）对文档继承结构建模：先构建句子的表征再合并成文档的表征；

 （2）对同一个词/句子再不同上下文中的不同重要性建模：采用了词级和句子级上的两种注意力机制；

注意力机制一方面通常能带来好的效果，另一方面能为分析哪些词/句子对分类决策起作用提供线索；

关键差异：

使用上下文来发掘何时token序列是相关的，而不是简单的通过滤波得到token序列。

 

1.网络结构：