整体框架
![img](https://img-blog.csdnimg.cn/img_convert/d09895ec49672ade6d9c267b9e2c8bbf.jpeg)
机器翻译流程(Transformer)
通过机器翻译来做解释
给一个输入,给出一个输出(输出是输入的翻译的结果)
“我是一个学生” --》(通过 Transformer) I am a student
流程 1
编码器和解码器
编码器:把输入变成一个词向量(Self-Attetion)
解码器:得到编码器输出的词向量后,生成翻译的结果
流程 2
![img](https://img-blog.csdnimg.cn/img_convert/6822e7bdd37f1a91787a08259cc6d4cf.jpeg)
Nx 的意思是,编码器里面又有 N 个小编码器(默认 N=6)
通过 6 个编码器,对词向量一步又一步的强化(增强)
流程 3
![img](https://img-blog.csdnimg.cn/img_convert/5b735c8c47ea1d314c0c3f37aa56d3dc.jpeg)
说了这么多,了解 Transformer 就是了解 Transformer 里的小的编码器(Encoder)和小的解码器(Decoder)
FFN(Feed Forward):w2((w1x+b1))+b2
流程 4
![img](https://img-blog.csdnimg.cn/img_convert/576a8fe92a19d7eb941233c2e6503bbb.jpeg)