使用mosesdecoder对机器翻译语料进行处理

之前在进行机器翻译时,一般除了与句子长度做了长度限制外,几乎没有做任何额外的操作,直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的,我们都知道,bpe算法的强大性,30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译,那词典太大了,在机器翻译中词典受限的情况下,很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词,必须对双语语料进行预处理操作。

关于预处理

分词(tokenization)、数据清理(data clearn)、小写化处理(lowercase)均是常规的预处理步骤。

相比之下,中文的预处理对我来说好做很多,除了分词,好像可做的就不多了,相比之下,英文的预处理就变得繁琐了很多,比如在bpe的子词词典中,我们可以看到American's 和american's同时存在于词典,并且英文的标点符号和单词之间是没空格分隔的,所以如果直接对英文按照空格进行分词,cat和cat.就可能占据词典中两个词的位置,这些都是不合理的,会浪费我们词典的位置。所以对英文的处理是及其有必要的。

mosesdecoder作为统计机器翻译工具,其中有一套很程序的预处理方法。

项目地址:

https://github.com/moses-smt/mosesdecoder

下面是我用mosesdecoder对中英文语料进行预处理的过程,(为什么中文已经分词了,还要进行预处理?----因为中文语料中也有一些英文,数字等等的词,我觉得也有必要一起处理一下)

利用mosesdecoder对机器翻译的双语语料进行处理(中文其实也可以进行处理,因为中文中夹杂着英文)

step1:对标点符号进行规范化 normalize

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < ./corpus/corpus.en >./corpus/corpus.norm.en

perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l zh < ./corpus/corpus.zh >./corpus/corpus.norm.zh

 

step2:分词  tokenizer

perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < ./corpus/corpus.norm.en > ./corpus/corpus.norm.tok.en

perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l zh < ./corpus/corpus.norm.zh > ./corpus/corpus.norm.tok.zh

 

step3: clean

长句和空语句可引起训练过程中的问题,因此将其删除,同时删除显不对齐句子删除。--将句子长度控制到60

perl ./mosesdecoder/scripts/training/clean-corpus-n.perl ./corpus/corpus.norm.tok en zh ./corpus/corpus.norm.tok.clean 1 60

这样会同时将双语语料进行操作,生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.zh。

Input sentences: 15886041  Output sentences:  13902844

控制完长度的双语语句13902844

 

step4:truecasing  

初始每句话的字和词组都被转换为没有格式的形式(例如统一为小写)。这有助于减少数据稀疏性问题。

需要训练一个truecase模型。注意:只能使用训练集训练truecase模型。

英文:

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.en -model ./corpus/truecase-model.en

中文:

perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.zh -model ./corpus/truecase-model.zh

应用:

英文:

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.en <./corpus/corpus.norm.tok.clean.en > ./corpus/corpus.norm.tok.clean.tc.en

中文:

perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.zh <./corpus/corpus.norm.tok.clean.zh > ./corpus/corpus.norm.tok.clean.tc.zh

处理后的语料中@-@ 是对原本语料中-的替代

同样,用上述相同的方法对训练集和测试集进行处理。

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值