【王树森】RNN模型与NLP应用(9/9)：Self-Attention（个人向笔记）

前言

上节课讲到的attention用到了Seq2Seq模型上，而Attention并不局限与Seq2Seq模型，而是可以用在所有RNN模型上。Self-attention在原论文中用到了LSTM上，而本节课做了简单的替换：换成了 Simple RNN。

---

SimpleRNN + Self-Attention

下面的 $h_0$ 为初始状态，是一个全0向量

• 无 Self-Attention 的更新状态：
  
• 有 Self-Attention 的更新状态：把 $h_0$ 换成了 $c_0$
  
• 接下来需要计算 $c_1$ ，上节课提到 $c$ 需要根据 $h$ 来计算，而此时 $h_0$ 为全 0 向量，所以 $c_1$ 就等于 $h_1$：
  
• $h_2$ 同理：
  
• 相关性与 $c_2$ 的计算需要同时包含 $h_2$：后面的过程类似
  

---

Summary

• Self-Attention能很大程度上解决RNN遗忘的问题
• Self-Attenion和Attention的原理是一样的，但是Self-Attention不局限于Seq2Seq模型上，而是可以应用到所有RNN上
• 除了避免遗忘，Self-Attention还能帮助关注相关的信息