使用Moses中tokenizer.perl无法正常工作：纠结的"<" 和">"（已解决）

最新推荐文章于 2021-11-23 09:45:51 发布

weixin_34234721

最新推荐文章于 2021-11-23 09:45:51 发布

阅读量200

点赞数

原文链接：http://www.cnblogs.com/hitnoah/p/3932161.html

版权

发现居然没有输入文本和输出文本，折腾了一晚上，到了半夜终于搞懂了：

官方的Manual上这么写的：

The tokenisation can be run as follows:

 ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en \
    < ~/corpus/training/news-commentary-v8.fr-en.en    \
    > ~/corpus/news-commentary-v8.fr-en.tok.en
 ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l fr \ 
    < ~/corpus/training/news-commentary-v8.fr-en.fr    \
    > ~/corpus/news-commentary-v8.fr-en.tok.fr

MLGB的写的太不精确了（虽然仔细一想也很精确），一直以为 '<'和'>'这俩货是Linux自动换行给的呢卧槽！有没有搞错，但是正常使用的话，这两个符号表示从制定位置输入和输出，尼玛啊！！！！！

转载于:https://www.cnblogs.com/hitnoah/p/3932161.html