1 transformer的encoder-decoder结构：
结构内部：
2 encoder：
2.1 输入部分
embedding和postitional encoding（位置编码）
为什么需要位置编码：如RNN每一time steps共享一套参数，串行输入输出，而transformer采用可以并行出入几个单词或者一串句子，优点是处理效率高，缺点是无法表示时序关系，所以要对输入的embedding加上postitional encoding。
本文深入探讨了Transformer的结构，包括encoder-decoder架构，重点解析了encoder中的输入部分、注意力机制以及前馈神经网络。在注意力机制中，详细阐述了基本注意力机制、多头注意力以及残差连接和层归一化的作用。decoder部分则介绍了masked multi-head attention以防止信息泄露，并解释了encoder与decoder如何交互完成序列生成任务。
最低0.47元/天 解锁文章
175
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
