作业链接; https://shimo.im/docs/KivfbK9TUHgCqg9b/
参考: https://blog.csdn.net/qq_41664845/article/details/84969266
LSTM虽然能够减少一定的梯度消失,优与RNN,在文本很长的情况下,LSTM也会丢失大量的信息。
attention的出现解决了随着时间推移,信息丢失的问题。如下图B所示,为基本的attention,对于序列X=(x1,x2,x3),对应了3个C,分别对不同的有不同的关注度,在解码时结合了C1,C2,C3。而不带attention的普通的encoder-decoder,如图A所示,类似于RNN一样,只会使用最后X的序列状态以及C进行解码。
图C为多头attention,即从多个方面来对一句话中的一个单词进行描述,最后对多个head进行整合计算,送入前馈神经网络。
transformer的架构也是encoders-decoders的,分别由6组self-attention组成,其中decoder部分中的每个单元中,比encoder多了encoder-decoder attention,不大懂。
HAN(hierarchical attention networks)
待续未完...