Multi-Head Self-Attention(多头自注意)
多头的个数用h表示,一般h = 8, 我们常用使用的是8头自注意力.
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/ea1f385b683967f5a7b2fa29fb5dc2e8.png#pic_center)
注意:Q、K、V通过线性变换后,变成了三组,这三组是不同的。
如何多头?
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/982e8ba54da2ae845b89065e67bb45e5.png#pic_center)
1、对于X,我们将X分成了8块(8头), 得到Z0-Z7。
2、然后把Z0-Z7拼接起来,再做一次线性变换(改变维度)得到Z。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4c1dea5cf78e5162c52b4bf6cb5fc461.png#pic_center)
作用
机器学习的本质:在做一件事情,非线性变换(把一个看起来不合理的东西,通过某个手段(训练模型),让这个东西变得合理)
非线性变换的本质:改变空间上的位置坐标,任何一个点都可以在维度空间上找到,通过某个手段,让一个不合理的点(位置不合理),变得合理。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4033ed3bc7c364d94620236ab92bd062.png#pic_center)