ssdlh_122的博客

原创 基于Transformer实现机器翻译

在自然语言处理的许多应用中，输入和输出都可以是不定长序列。例如，机器翻译中的输入可以是不定长的英语文本序列，输出可以是不定长的法语文本序列，如英语输入“They”、“are”、“watching”、“.”，对应的法语输出为“Ils”、“regardent”、“.”。当输入和输出都是不定长序列时，可以使用编码器—解码器（encoder-decoder）或seq2seq模型，这两个模型本质上都包含两个循环神经网络，即编码器和解码器。编码器用于分析输入序列，解码器用于生成输出序列。