Attention的学习

Attention的学习

简介：

​ 其实attention机制是对于当前状态的生成，对前面的状态的一个关注程度。通过当前的隐藏状态，去和之前的hidden进行比对，也相当于计算相似度。（其实代码实现的话，就是一个两个矩阵拼接进行一个Linear，最中终Encoder中会得出hidden个score，每个score对应每个hidden的值，再进行一个点积也相当于加权求和，得出batch个attention的向量，然后通过attention、decoder_input,hidden_state进行拼接再经过一个Linear得出预测值）

参考：https://wmathor.com/index.php/archives/1451/

这个博主b站视频：https://www.bilibili.com/video/BV1op4y1U7ag/

1.Encoder部分

• encoder部分和传统的seq2seq其实是一样的

• 经过encoder 会获得两个东西

  1. encoder_output : 是encoder中循环神经网络的最后一层全部的hidden_state
  2. hidden : 是encoder中循环神经网络每层的最后一个hidden

在这里插入图片描述

2.Attention部分

Attention分为两部分 ：

1. 计算权重 得出 score

2. 加权求和 得出 Attention_vector

• 计算权重：

  公式：
  $$Weight:a_i=align(h_i,s_0)$$

  具体编码的时候（伪代码）：

  energy=tanh(linear(torch.cat(hi,s0),hidden_num))
  a_i = linear(energy,1)
  

  这里会得到seq_len个a ，就是分数，我会经过一个softmax
  $$softmax(a_{1-se{q}_{l}en})$$

• 加权求和：

  公式：
  $$Attention-vector:c_0=a_1{h}_1+...+a_m{h}_m$$
  

3.Decoder部分

​ 经过前两步操作，我现在拥有的是 :

• $$S_{t-1}(上一个hidden)$$

• $$Attention-vec$$

• $$decoder-input$$

步骤：

1. 把 Attention_vec , decoder_input 进行cat拼接，得到input

2. ,把input , s(t-1) ** 传入rnn网络中，得出output** 其实就是新的 s(t)

3. 最后进行预测,就是一个Linear,这个Linear是 output 和 Attention_vec 和 decoder_input 进行拼接经过Linear变成word_size_dim大小进行预测
   

下面给出伪代码：

input = torch.cat(c , encoder_input)
encoder_output = rnn(input,s)
pre = Linear(encoder_output,Attention_vec,encoder_input)

4.需要注意的地方

• 在Encoder阶段得到的最后一个hidden要经过一个tanh非线性变换作为Decoder的初始阶段。
• 最后做预测的时候并不用做一个softmax，因为在loss选择交叉熵的时候里面会给你做softmax