整体框架
![img](https://i-blog.csdnimg.cn/blog_migrate/745d55474153291dd16e505cbbc2c4f9.jpeg)
机器翻译流程(Transformer)
通过机器翻译来做解释
给一个输入,给出一个输出(输出是输入的翻译的结果)
“我是一个学生” --》(通过 Transformer) I am a student
流程 1
编码器和解码器
编码器:把输入变成一个词向量(Self-Attetion)
解码器:得到编码器输出的词向量后,生成翻译的结果
流程 2
![img](https://i-blog.csdnimg.cn/blog_migrate/d94f7b2cc4acc72b00fb52ece3da9388.jpeg)
Nx 的意思是,编码器里面又有 N 个小编码器(默认 N=6)
通过 6 个编码器,对词向量一步又一步的强化(增强)
流程 3
![img](https://i-blog.csdnimg.cn/blog_migrate/91e340ba62901b0a95b372988ab57141.jpeg)
说了这么多,了解 Transformer 就是了解 Transformer 里的小的编码器(Encoder)和小的解码器(Decoder)
FFN(Feed Forward):w2((w1x+b1))+b2
流程 4
![img](https://i-blog.csdnimg.cn/blog_migrate/10d3b81ff34257d7a44d0ab02a5b42b4.jpeg)