基于术语词典干预的机器翻译挑战赛-Transformer#AI夏令营 #Datawhale #夏令营

首先，把模型看作一个单一的黑盒子。在机器翻译应用中，它会接收一种语言的句子，并输出另一种语言的译文。

打开Transformer，就可以看到编码组件、解码组件以及它们之间的连接。

编码器块部分是一堆编码器；解码器块是一堆数量相同的解码器。

编码器的结构完全相同（但不共享权重）。每个编码器都分为两个子层：

编码器的输入首先经自注意力层——该层帮助编码器在编码特定单词时查看输入句子中的其它单词。自注意力层的输出被输入一个前馈神经网络。完全相同的前馈网络被独立应用于每个位置。

解码器也有这两个层，但在它们之间还有一个注意力层，帮助解码器关注输入句子的相关部分（类似于 seq2seq 模型中的注意力）：