开个坑，自学self-attention机制的记录

记录一下暑假学self-attention机制的经过

麻辣鸡，暑假里十门考试，不一定写的了了。

开了学终于有时间开坑了。

1、为啥需要self-attention机制，self-attention机制于attention机制的区别。

attention机制是在seq2seq模型中提出的，主要是为了解决在解码部分所有隐含层状态对最后的贡献一致的情况。

而self-attention的提出是数据科学家在寻找一种与RNN无关的，且能包含上下文信息的Attention结构。

简单来说self-attention机制就是把一个Max_length*Embedding Dim的句子矩阵X，转化为相同shape的矩阵Y，但是矩阵Y为考虑了句子上下文而生成的矩阵。所以其在低维映射空间中能够更好的表示该句子。

一个最好的教程：
https://jalammar.github.io/illustrated-transformer/

附上自己的代码：

class TextCnn_Att(nn.Module):
    def __init__(self,n_embed):
        super(TextCnn_Att,self)