self_attention 注意力机制

self_attention 注意力机制是干嘛的 ：

不过得扯点别的 因为要学习 transformer 就必须先掌握注意力机制这个东西

而self-attention是一个好东西，可以提供上下文信息，让这个machine去了解每个part的相关性，而不是独立的去实行人工智障算法。 

拿大佬李宏毅老师的例子 

现在有个句子 i saw a saw. 我看见（saw）了一把锯子(saw)。

现在的task是辨别每个单词的词性 如果没有联系上下文就扔到网络中，那么它的输出结果就是

i （n） saw (v) a(冠词) saw(v) 其中最后面一个saw 是名词吧

那么加入这个attention之后啊 他就知道得根前后上下文信息建立某种关联 最终输出正确答案、

i （n） saw (v) a(冠词) saw()

这个α需要一个计算的方式

 拿两个向量vector作为输入input

比较常见的做法是使用

 Daproda哈哈

 用刚才的两个向量乘以权重qk矩阵，分别得到q,k

再让q，k做点乘运算 DaprodaO(∩_∩)O哈哈~

从外还有另外的方式计算关联

 

 query 搜寻 关键字

 1,2关联性也有一个称号 叫做注意力分数 attention score

 在实际做的时候，也会跟自己计算关联性

 计算完之后在做一个softmax

不一定要用softmax 可以用别的激活函数 relu还更好一点

然后根据这个分数抽取更重要的知识 资讯

 

乘以这个Wv矩阵得到V1

 以此类推

 把这个得到的V1乘以刚才得到的注意力分数

 然后在累加起来

 

这里的b1b2b3b4 不需要依序产生

 一次同时被计算出来

接下来换一个角度

从矩阵的角度出发

把之前的a1a2a3a4可以看成一个矩阵，记作I来表示

 

 这个是network的参数

 好好学矩阵啊 兄弟们

 这个α是之前提到过的注意力分数，其中是需要转置，才能计算

 

 真的要好好学矩阵的基础知识的哟

 

 

 

 这是self-attention唯一需要学的参数

这篇说实话有点水，实在学不下去了，边看边做的PPT笔记，但其实思路还是很清晰的

毕竟是做的大佬的笔记，哈哈