Self-Attention-自注意机制

Original paper:

1. Bahdanau, Cho, & Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015.
2. Cheng, Dong, & Lapata. Long Short-Term Memory-Networks for Machine Reading. In EMNLP, 2016.

Self-Attention-自注意机制

在此之前，你应该知道：
Simple RNN Model
Long Short Term Memory (LSTM)
Attention-自注意机制
初始：c₀ = 0，h₀ = 0 （全0向量）

simple-RNN新的状态h_t依赖于新的输入X₁和上次状态h_t-1
两者不一样的地方在于h₀换成了c₀

c₁ = h₁,
重复以下计算：

想要计算新的C₂：首先得计算h_i与h₂的相关性a_i（相关性计算在上一篇Attention-自注意机制有介绍，这里便不累赘了）

不断重复以上过程

通过self-attention自注意，RNN 不太容易忘记且容易关注相关信息。