m0_56659208的博客

原创 李宏毅机器学习笔记——Transformer

李宏毅机器学习笔记 本章主要是介绍了Transformer(全自注意力网络)： 1. 通过sequence-to-sequence模型中的RNN存在问题——不能并行计算，CNN替换可以解决一部分问题，但也存在缺陷。 2.由CNN缺陷引入了Self-Attention Layer来替代RNN的sequence-to-sequence模型——Transformer。 3.讲解Self-Attention的基本原理与具体过程。 4.讲解了一种叫做“多头”注意力（“multi-headed” attention）的