P10.1机器学习笔记--李宏毅（self-attention机制）

有三种输入输出对应类型，今天只说第一种类型： 

如果要做词性标注，对于Fully-connected来说两个saw都是一样的这就会让事情变得很困难

 我们就要用到sel-attention，第二层每个方框都是考虑了第一层的所有方框：

 可以让fully conncted和self-attention交替使用，FC专门处理某一个位置的咨询，而self-attention处理整个sequence的咨询。

这个a可能是原始输入也有可能是隐层输出：

 生成b1的话需要考虑a1和a2以及a3和a4的相关联性考虑哪些是对a1影响重要的，给它一个数值a表示相关性：

我们这里讲用最传统的方法Dop-product怎么产生a：

 

 这里a1的query和每一个的key做计算，最后这个softmax可以换成relu以及其他的：

 计算出a1‘之后，我们就要让和每一个的value进行相乘，这样注意力得分高的内容就会更重要