- moses无法连接到irstlm
最新版的moses需要使用irstlm5.80.07+版本。目前(2015年7月)最新版为5.80.08,在sourceforge.net上可以下载最新版的irstlm。sourceforge.net可能无法下载,可以找一个sourceforge.net的镜像即可下载。 - 无法使用moses自带的tokendizer.perl脚本
按照官方manul上写法执行tokenizer.perl脚本时,总是停在如下的位置。
Tokenizer Version 1.1
Language: en
Number of threads: 1
是因为官方的manul进行了换行。正确不加换行的写 法如下:
~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en < ~/corpus/training/news-commentary-v8.fr-en.en > ~/corpus/news-commentary-v8.fr-en.tok.en
即可运行通过。 - 执行irstlm的build-lm.sh文件时,提示
Set IRSTLM environment variable with path to irstlm
查看build-lm.sh文件,看到
if [ ! $IRSTLM ]; then
echo "Set IRSTLM environment variable with path to irstlm"
exit;
fi
所以应该是环境变量未设置好。通过修改.bashrc文件可以解决该问题。参考
Moses使用问题记录
最新推荐文章于 2021-07-19 16:13:13 发布
本文档记录了使用Moses时遇到的问题,包括Moses无法连接到IRSTLM,tokenizer.perl脚本执行错误,IRSTLM的build-lm.sh环境变量设置,mgiza的安装和运行,以及在处理语料时遇到的长度不一致和mert-moses.pl执行错误等,并提供了相应的解决方案。
摘要由CSDN通过智能技术生成