HAN论文笔记

最新推荐文章于 2023-08-10 22:53:03 发布

lzk_nus

最新推荐文章于 2023-08-10 22:53:03 发布

阅读量603

点赞数

分类专栏： Deep Learning NLP 文章标签：深度学习 rnn lstm

本文链接：https://blog.csdn.net/qq_42791848/article/details/122420733

版权

Deep Learning 同时被 2 个专栏收录

43 篇文章 4 订阅

订阅专栏

NLP

37 篇文章 6 订阅

订阅专栏

Hierarchical Attention Network

《Hierarchical Attention Network》一文提出了一种层次化的注意力网络。在Seq2Seq里的注意力机制，我们其实做的是word-level的attention，而这篇文章的亮点在于它提出双层attention，即word-level和token-level。

Model Structure

整个HAN其实主要包含三大部分：

Word Encoder
Word-level Attention
Sentence-level Attention

模型结构如下：

在这里插入图片描述

我们分别来解析

Word Encoder

HAN模型的Word Encoder采用的是双向GRU（当然我觉得用LSTM问题也不大）。先来回顾一下GRU的基本原理，GRU是RNN的带有门控机制的变体之一，GRU在将原先LSTM的三个门浓缩为两个门：update gate $z_t$ 和 reset gate $r_t$ 。
$z_t\ =\ \sigma(W_zx_t+U_zh_t+b_z)\\ r_t\ =\ \sigma(W_rx_t+U_rh_t+b_r)$
GRU的流程如下：

获得当前输入的信息： $\widetilde {h_t}\ =\ tanh(W_rx_t+r_t\bigodot (U_rh_{t-1})+b_r)$ ，简单说就是上一层的隐状态和重置门做一个element wise的相乘，结果再和 $t$ 时刻输入信息拼接，最后用 $t a n h$ 激活。
获得当前时刻的隐状态： $h_t\ =\ (1-z_t) \bigodot h_{t-1}+z_t\bigodot \widetilde {h_t}$ ，这里更新门控同时实现了遗忘和记忆两个工作

由于是双向的GRU，因此我们会获得forward、backward两个方向的隐状态 $h^{f}_{it}$ 和 $h^{b}_{it}$ ，我们将这两个concatenate到一起作为 $t$ 时刻的隐状态
$h_{it}\ =\ [h^{f}_{it},\ h^{b}_{it}]$
这里 $i$ 表示的是第 $i$ 个句子。

Word-level Attention

Word Encoding完成后，接下来首先是Word-level Attention。这一部分与我们在Seq2Seq里的Attention是一样的
$u_{it}\ =\ tanh(W_wh_{it}+b_w)\\ \alpha_{it}\ =\ \frac{exp(u^{T}_{it} u_w)}{\sum_{t}exp(u^T_{it}u_w)}\\ s_i\ =\ \sum_{t}\alpha_{it}h_{it}$
最后我们得到的 $s_i$ 就作为下一层Attention的每个句子向量表征

Sentence-level Attention

Word-level的Attention完成后，我们获得了每个句子的特征向量 $s_i$ ，接下来的工作就是本文的创新点，对句子再做一次Attention，流程其实还是一样的：
$u_{i}\ =\ tanh(W_sh_{i}+b_s)\\ \alpha_{i}\ =\ \frac{exp(u^{T}_{i} u_s)}{\sum_{i}exp(u^T_{i}u_s)}\\ v\ =\ \sum_{i}\alpha_{i}h_{i}$
最终我们得到的向量 $v$ 就是整个document的向量表示，我们再用一个分类器进行分类即可

Experiment

本文作者在六个大型数据集上进行了实验，相较于一些baseline（n-gram、CNN、RNN等），HAN在各个数据集上均取得了令人满意的效果

在这里插入图片描述

Analysis

Context dependent attention weights

作者提到HAN模型很好的提取到了文本中的上下文关系。比如在电影评论中，出现good不一定就是正面评论，因为可能是not good或者只是某一方面good。因此作者绘制了good和bad这两个词的attention weight的distribution

在这里插入图片描述

Visualization of attention

作者还将attention做了可视化用于证明HAN模型较好的提取到了一些比较重要的信息

在这里插入图片描述

Figure 5是sentiment analysis任务，可以看到像terrible、delicious、amazing这种情感比较强烈的词语，HAN都很好的捕捉到了并且attention weight很高。Figure 6展示了对于topic prediction任务，HAN也能很好的捕捉到相关信息，比如zebras、web、browser等等。