机器翻译的数据预处理

主要分为三大块：

1.数据筛选：去除那些训练集中不对齐、质量差的句对。相关的技巧有很多：

1. 去重：重复的数据会使训练过程有偏。可以简单地去除完全相同的句对，也可以计算每两个句子之间的局部哈希值，把相似度小于某个阈值的句对都去除；
2. 去空行：空行不能提供任何信息，而且可能会引起BUG；
3. 特殊符号处理：这个就需要通过肉眼来观察，然后确定一个特殊符号列表了。常见的，包含控制字符、转义字符、URL符号等的都需要处理，至于处理方式是删除符号、还是删除句对，就得人为确定了；

  上面几步不需要tokenize就可以做，下面几步要在tokenize之后再进行。

1. 长度筛选：长度太短的句对，对训练没有帮助；长度太长的句对，在送入模型后也会进行截断，所以也没有必要保留；
2. 长度比筛选：长度比偏离3倍标准差的句对，基本上都是有问题的句对，可以删去；
3. 对齐筛选：计算对齐得分，前向和后向相加，得分太低的句对都可以删除；
4. 语言模型筛选：计算语言模型得分，源端和目标端相加，得分太低的句对都可以删除；

2.tokenization：对输入的文本进行分词、大小写转换等操作。注意，因为翻译是生成式任务，所以很多操作需要保证是可恢复的，也就是说，切分完了之后，还得有能力还原，最后送给用户的是未经过切分的语句。

1. 全半角转换：有些时候输入文本中存在全角的符号、数字等，这个都需要