Transformer模型由encoder和decoder组成，每个部分包含多个相同的layer，每个layer由self-attention机制和全连接前馈网络构成。encoder中，multi-head self-attention通过不同线性变换处理Q, K, V，而decoder在encoder基础上增加了一个额外的attention sub-layer，用于解码过程。解码时，由于需要避免未来信息泄漏，使用了特殊的mask机制。"
53340396,1439920,C#控制应用程序窗口状态：最小化与最大化,"['c#', 'winform']
encoder和decoder分别利用6个encoder和decoder组成，简化结构表示如下：
每个encoder和decoder的简化结构如下所示：
处理流程：首先对输入的数据进行一个embedding操作，embedding结束之后将结果输入到encoder层，self-attention处理完数据将结果送给前馈神经网络，得到的输出结果会输入到下一层encoder；
encoder是由N=6个相同的layer组成，layer指的是上图左侧的单元，最左边有个"Nx",这里的x是6，每个layer由两个sub-layer组成，分别是multi-head self-att
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
