机器翻译和编码器-解码器结构

一、机器翻译

首先，语言模型是使用循环神经网络来设计的，而语言模型正是自然语言处理的关键。其次，机器翻译 是最成功的基准测试，而机器翻译正是将输入序列转换成输出序列的 序列转换模型（sequence transduction）的核心问题。

机器翻译（machine translation）指的是将序列从一种语言自动翻译成另一种语言。

总结：

机器翻译指的是将文本序列从一种语言自动翻译成另一种语言。

使用单词级词元化时的词汇量，将明显大于使用字符级词元化时的词汇量。为了缓解这一问题，我们可以将低频词元视为相同的未知词元。

通过截断和填充文本序列，可以保证所有的文本序列都具有相同的长度，以便以小批量的方式加载。

二、编码器-解码器

重新解读CNN：编码器将输入编程成中间表达形式（特征），解码器将中间表示解码成输出。

 重新解读RNN：

 架构

 总结：