nlp学习9

Attention原理

1.基本的Attention原理

注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。
Attention机制的基本思想是：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。
Attention机制的实现是 通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。

1.1Encoder-Decoder框架

要了解深度学习中的注意力模型，就不得不先谈Encoder-Decoder框架，因为目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架，这点需要注意。
Encoder-Decoder框架可以看作是一种深度学习领域的研究模式，应用场景异常广泛。下图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。

2.HAN的原理(Hierarchical Attention Networks)

han模型有两个重要特征，第一是分层，word-level层与sentence-level层，符合文档结构；第二个就是使用注意力机制（在加权时，可以根据内容赋予动态权重）；
首先是one-hot的嵌入式表示，即embedding

然后再经过word-level编码层，这个有很多选择，论文中选择了双向GRU模型，得到每个word的编码

然后再经过注意力层计算出每个word编码的权值，用于线性加权；这里有个重点就是注意力层中Q，即图中的Uw，代表context vector，语义向量，是随机初始化的，不对应任何输入；V代表word的编码（GRU层输出的隐藏状态），K是将V经过一个FNN层的输出。
参考：https://www.cs.cmu.edu/~diyiy/docs/naacl16.pdf

3.Attention文本分类实战

使用THUCNEWS数据集，数据处理等代码请参考链接：https://blog.csdn.net/chen_yiwei/article/details/88647430
模型定义如下：

class Attention(nn.Module):
    def __init__(self, feature_dim, step_dim, bias=True, **kwargs):
        super(Attention, self).__init__(**kwargs)
        
        self.supports_masking = True

        self.bias = bias
        self.feature_dim = feature_dim
        self.step_dim = step_dim
        self.features_dim = 0
        
        weight = torch.zeros(feature_dim, 1)
        nn