机器翻译评测——NIST算法及安装

Windows环境首先安装Cygwin https://cygwin.com/install.html

Cygwin能在Windows环境下模拟UNIX/Linux环境编程，比安装虚拟机节省储存空间。

下载-选联网安装-下载网址选阿里云镜像 http://mirrors.aliyun.com/cygwin - 安装binutils, gcc, gcc-mingw, gdb, make, perl

依次输入gcc --version，g++ --version，make --version，gdb --version查看版本信息，说明安装成功；

将Cygwin的bin目录路径加入环境变量。

 

NIST（National Institute of standards and Technology）

是BLEU的一种改进，引入了每个n-gram的信息量（information）的概念。比起BLEU只简单地相加n-gram数量，NIST累加得到信息量然后除以整个译文的n-gram数，相当于增大一些出现少的重点词的权重。
信息量公式：

分母是n-gram在参考译文中出现的次数，分子是对应的n-1-gram在参考译文中的出现次数。对于一元词汇，分子的取值就是整个参考译文的长度。这里之所以这样算，应该是考虑到出现次数少的就是重点词这样的一个思路。计算信息量之后，就可以对每一个共现n-gram乘以它的信息量权重，再进行加权求平均得出最后的评分结果：

 

Lref 是参考答案的平均长度（注意L的上方有一个平均符号）；Lsys是译文的长度；N一般取5；β是一个常数，在Lsys/Lref=2/3 时，β使得长度罚分率为0.5，它是个经验值，大概的曲线是：

 

NIST 官网 https://www.nist.gov/itl/iad/mig/tools

下载第三项 mteval-v14c-20190801.tar.gz ——mteval scoring script for machine translation evaluation

下载：

XML-Twing https://metacpan.org/release/XML-Twig

XML-Parser https://metacpan.org/pod/XML::Parser

expat-devel http://sourceforge.net/projects/expat/

Sort-Naturally https://metacpan.org/pod/Sort::Naturally

String-Util https://metacpan.org/pod/String::Util

均选择左下的 TOOLS -- Download

解压进入后 perl Makefile.PL -y；make；make install

使用NIST提供的example测试：

perl mteval-v14c.pl -r example/ref.xml -s example/src.xml -t example/tst.xml

其他用法

• BLEU-4（官方OpenMT12评估指标）

调用行： perl mteval-v14c.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -b

选项-c：区分大小写的得分

选项-b：仅BLEU得分

• IBM BLEU（bleu-1.04a）

调用行： perl bleu-1.04.pl -r REFERENCE_FILE -t CANDIDATE_FILE

默认情况下，评分是区分大小写的

• NIST（mteval-v13a）

调用行： perl mteval-v13a.pl -r REFERENCE_FILE -s SOURCE_FILE -t CANDIDATE_FILE -c -n

选项-c：区分大小写的得分

选项-n：仅NIST评分

• TER（tercom-0.7.25）

调用行： java -jar tercom.7.25.jar -r REFERENCE_FILE -h CANDIDATE_FILE -N -s

选项-N：启用归一化

选项-s：区分大小写的得分

• METEOR（气象0.7）

调用行： perl meteor.pl -s SYSTEM_ID -r REFERENCE_FILE -t CANDIDATE_FILE --modules “exact porter_stem wn_stem wn_synonymy”

选项–modules “exact porter_stem wn_stem wn_synonymy”：按照顺序使用所有四个METEOR匹配模块
 

参考资料

https://www.cnblogs.com/by-dream/p/7765345.html