Hierarchical Attention Network for Document Classification
数据:
每个document由多个句子组成,每个句子由多个单词组成。
注意力:
一个文档中,哪些句子可以决定它的分类?句子中,哪些单词比较重要?
模型结构图:
word层面的注意力机制
对每个句子,进行一样的下列操作。这里我们对第iii个句子进行处理:
uit=tanh(Wwhit+bw)u_{it} = tanh(W_wh_{it}+b_w)uit=tanh(Wwhit+bw)
αit...
原创
2018-11-29 08:49:37 ·
287 阅读 ·
0 评论