来源于李宏毅老师的课程
可参考博客:自注意力机制(Self-Attention)_Michael_Lzy的博客-CSDN博客
Input is a set if vectors(输入一系列向量)
输入向量编码:(1)ont-hot Encoding (2)Word Embedding
输出向量:(1)Each vector has a label.
(2)The whole sequence has a label.
(3)Model decides the number of label itself.(seq2seq)
一、sequence Labeling(N对N)
那么如何找倆向量之间的相关性?
(1)Dot-product (2)additive
Dot-product(tramsformer使用)
计算步骤(Wq,Wk为矩阵)
1.计算q,k相关性
2.计算qk与v相关性 Extract information based on attention scores (b1即为上图中的b1)
向量形式演示计算过程