mosesdecoder中clean-corpus-n.perl脚本使用说明

官方文档：http://www.statmt.org/moses/?n=Moses.Baseline

官方文档只列出保留长度范围内的数据，但是对于clean-corpus-n.perl其他功能还没有列出。比如去除源端目标端句子比例超过5的平行句子，因为源端目标端句子比例相差过大可能就不平行了，因此需要去掉。

一条完整的命令如下：

perl mosesdecoder/scripts/training/clean-corpus-n.perl -ratio 3 test en cn test.clean 1 1000

说明：

• 这里输入的文件是已经tokenize过的
• 保留句子比例小于等于3，并且长度在1-1000的平行句子，也就是去除空行（ <=3）
• 输入文件名是test.en 和 test.cn
• 输出文件名为test.clean.en 和 test.clean.cn