使用mosesdecoder对机器翻译语料进行处理

之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。

关于预处理

分词（tokenization）、数据清理（data clearn）、小写化处理（lowercase）均是常规的预处理步骤。

相比之下，中文的预处理对我来说好做很多，除了分词，好像可做的就不多了，相比之下，英文的预处理就变得繁琐了很多，比如在bpe的子词词典中，我们可以看到American's 和american's同时存在于词典，并且英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，cat和cat.就可能占据词典中两个词的位置，这些都是不合理的，会浪费我们词典的位置。所以对英文的处理是及其有必要的。

mosesdecoder作为统计机器翻译工具，其中有一套很程序的预处理方法。

项目地址：

https://github.com/moses-smt/mosesdecoder

下面是我用mosesdecoder对中英文语料进行预处理的过程，（为什么中文已经分词了，还要进行预处理？----因为中文语料中也有一些英文，数字等等的词，我觉得也有必要一起处理一下）

利用mosesdecoder对机器翻译的双语语料进行处理（中文其实也可以进行处理，因为中文中夹杂着英文）

step1:对标点符号进行规范化 normalize

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < ./corpus/corpus.en >./corpus/corpus.norm.en</