笔记：ML-LHY: Transformer / Self-attention

Transformer主要思想是Self-attention，详细介绍了Self-attention过程，简单介绍Transformer框架
pdf 视频

Sequence

用RNN很难并行训练/推理，计算$b^4$时必须先计算$b^1,b^2,b^3$。
考虑用CNN，虽然可以做到并行训练/推理，但是需要叠很多层，才能包含长序列。
而使用Self-Attention，可以取得RNN，并且是可以并行计算。

Self-Attention

使用Self-Attention Layer，$b^i$包含了所有输入信息，同时$b^1,b^2,b^3,b^4$可以同时计算。

Attention is all you need.😏
先对输入的word做Embedding，如何做embedding可以回顾(笔记：ML-LHY-14: Unsupervised Learning - Word Embedding)，这样就把输入word($x^i$)转成一样长的vector($a^i$)。对$a^i$乘上不同的matrix：

• 乘$W^q$，得到q:query，去匹配其他key(包括自己的)$$q^i=W^q{a}^i$$

• 乘$W^k$，得到k:key，被其他query匹配(包括自己的)$$k^i=W^k{a}^i$$

• 乘$W^v$，得到v:value，vector($a^i$)所包含的信息$$v^i=W^v{a}^i$$

以上$q,k,v$都是长度一样的向量

attention过程就和以往一样，先match，然后softmax，最后weigh sum

match：

每个输入word($x^i$)对应在$x^j$上的初始attention值$\alpha$的输出为：
$${\alpha }_{j,i}=q^j\cdot k^i/\sqrt{d}$$
除以$\sqrt{d}$，是为了防止维度过高内积值太大。

进行softmax：

$${\hat{\alpha }}_{j,i}=\exp \left({\alpha }_{j,i}\right)/\sum _{m=1}^L\exp \left({\alpha }_{j,m}\right)$$

最后进行weight sum：

输入$x^j$对应的输出：
$$b^j=\sum _{i=1}^L{\hat{\alpha }}_{j,i}{v}^i$$

综合的式子：
$$\begin{array}{rl}{b}^j& =\sum _{i=1}^L(\exp \left({\alpha }_{j,i}\right)/\sum _{m=1}^L\exp \left({\alpha }_{j,m}\right))v^i\\ & =\sum _{i=1}^L\left[\exp \left(q^j\cdot k^i/\sqrt{d}\right)/\sum _{m=1}^L\exp \left(q^j\cdot k^m/\sqrt{d}\right)\right]v^i\end{array}$$

矩阵形式：


首先对embedding输出的$a^i$并列，可以得到矩阵$I$
$$I=\left[a^1{a}^2...\right]$$

各种乘不同矩阵得到输出矩阵$Q,K,V$：
$$Q=\left[q^1{q}^2...q^i\right]=W^{q}I=W^q\left[a^1{a}^2...q^i\right]$$

$$K=\left[k^1{k}^2...k^i\right]=W^{k}I=W^k\left[k^1{k}^2...k^i\right]$$

$$V=\left[v^1{v}^2...v^i\right]=W^{v}I=W^v\left[v^1{v}^2...v^i\right]$$

---

$$q^i=W^q{a}^i$$

$$k^i=W^k{a}^i$$

$$v^i=W^v{a}^i$$

---

match：

每个输入word($x^i$)对应在$x^j$上的初始attention值$\alpha$的输出为：
$$\begin{gathered} \left[\begin{array}{cccc}{\alpha }_{1,1}& {\alpha }_{2,1}& ...& {\alpha }_{j,1}\\ {\alpha }_{1,2}& {\alpha }_{2,2}& ...& {\alpha }_{j,2}\\ ...& ...& ...& ...\\ {\alpha }_{1,i}& {\alpha }_{2,i}& ...& {\alpha }_{j,i}\end{array}\right]=\left[\begin{array}{c}{k}_1\\ k_2\\ ...\\ k_i\end{array}\right]\left[q^1{q}^2...q^j\right] \\ A=K^{T}Q \end{gathered}$$

---

$${\alpha }_{j,i}=q^j\cdot k^i/\sqrt{d}$$

---

进行softmax：

$$\begin{gathered} \left[\begin{array}{cccc}{\hat{\alpha }}_{1,1}& {\hat{\alpha }}_{2,1}& ...& {\hat{\alpha }}_{j,1}\\ {\hat{\alpha }}_{1,2}& {\hat{\alpha }}_{2,2}& ...& {\hat{\alpha }}_{j,2}\\ ...& ...& ...& ...\\ {\hat{\alpha }}_{1,i}& {\hat{\alpha }}_{2,i}& ...& {\hat{\alpha }}_{j,i}\end{array}\right]\Leftarrow \left[\begin{array}{cccc}{\alpha }_{1,1}& {\alpha }_{2,1}& ...& {\alpha }_{j,1}\\ {\alpha }_{1,2}& {\alpha }_{2,2}& ...& {\alpha }_{j,2}\\ ...& ...& ...& ...\\ {\hat{\alpha }}_{1,i}& {\alpha }_{2,i}& ...& {\alpha }_{j,i}\end{array}\right] \\ \hat{A}\Leftarrow A \end{gathered}$$

---

$${\hat{\alpha }}_{j,i}=\exp \left({\alpha }_{j,i}\right)/\sum _{m=1}^L\exp \left({\alpha }_{j,m}\right)$$

---

最后进行weight sum：


$$\begin{gathered} [b^1{b}^2...b^j]=[v^1{v}^2...v^i]\left[\begin{array}{cccc}{\hat{\alpha }}_{1,1}& {\hat{\alpha }}_{2,1}& ...& {\hat{\alpha }}_{j,1}\\ {\hat{\alpha }}_{1,2}& {\hat{\alpha }}_{2,2}& ...& {\hat{\alpha }}_{j,2}\\ ...& ...& ...& ...\\ {\hat{\alpha }}_{1,i}& {\hat{\alpha }}_{2,i}& ...& {\hat{\alpha }}_{j,i}\end{array}\right] \\ O=V\hat{A} \end{gathered}$$

---

$$b^j=\sum _{i=1}^L{\hat{\alpha }}_{j,i}{v}^i$$

---

最后综合就是：

一堆矩阵乘法，用 GPU 可以加速

Multi-head Self-attention

可以进行分裂，不同的head产生的attention在不一样的地方。

Positional Encoding

可以发现在self-attention中不存在位置信息，而对于sequence来说，位置信息很重要。

$e^i$求法：
先对位置进行编码(one-hot):
$$p^i=[...010...{]}^T$$
和$x^i$拼接，然后乘W，W可以分解为$W^I$和$W^P$，而$e^i=W^P{p}^i$

Seq2seq with Attention

可视化过程：

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Transformer

Batch normalization：在指定batch内，对同一维的数据做normalization，希望均值和方差为0
Layer normalization：不需要指定batch，对不同维数据做normalization，希望均值和方差为0

Masked Multi-Head Attention：这边attend是在decoder的输出上，所以只能对已生成的sequence做attention

Universal Transformer

https://ai.googleblog.com/2018/08/moving-beyond-translation-with.html

基于attention，但是在深度轴上是一个RNN

以上参考李宏毅老师视频和ppt，仅作为学习笔记交流使用