ElitesAI·动手学深度学习PyTorch版学习笔记-机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

宅家中看到Datawhale的学习号召，在大牛云集的群上找到了一个很佛系的小组，战战兢兢地开始了小白的深度学习之旅。感谢Datawhale、伯禹教育、和鲸科技，感谢课程制作者、组织者、各位助教以及其他志愿者！

1 机器翻译及相关技术
1.1 概念
机器翻译就是将一段文本从一种语言翻译为另一种语言。机器翻译的输出是单词序列，输出序列和输入序列的长度可能不同。
1.2 预处理
首先要对输入文本进行清洗。首先删去超出编码格式的数据（非字符数据），然后对字符串组成的单词按照句子组成规律进行分词（python有许多成熟的分词模块可以直接使用），并对分词后的单词建立词典，再转化为适合神经网络输入的小批量格式（Encoder)。
1.3 翻译
然后载入翻译数据集，分别与输入数据的词典进行比较，再将其翻译为输出数据的词典（Decoder），然后按照输入数据的单词顺序进行排列（可能按照翻译的一些规则进行调整，不一定与输入数据完全一致），形成翻译后的输出序列。
Beam Search没有完全看懂。贪心算法有些模糊了解，这个参数是翻译数据集内置的吗？维特比算法不懂。