机器翻译评价指标 BLEU分数

提出背景

在机器翻译任务中，将同一个句子翻译成另外一种语言时，往往会有多个都是正确的翻译结果。因此，在构建机器翻译的评价指标时需要注意如何在有多个正确答案的情况下评价翻译结果的好坏。一个常用的传统评价指标就是BLEU分数。当机器翻译的结果与任意一个参考结果相似的话，那么就会有一个较高的BLEU分数。

英文全称和提出时间

BLEU分数的英文全称是 Bilingual Evaluation Understudy（双语评估替补），是在2002年的一篇论文中提出的。

基本思想

• 机器翻译中的准确率指标：顺序取出机器翻译中的每一个单词，逐一判定这个单词是否在每一个参考翻译结果中出现，如果出现，则对应该参考翻译结果的分数增加一分。最后，在所有参考翻译结果的分数的最大值并除以机器翻译结果的总长度，作为机器翻译的准确率。准确率是一个0-1之间的值，越大表示机器翻译的效果越好。但是，准确率往往不能很好地反映机器翻译模型的性能。（例如对于参考翻译The cat is on the mat的翻译结果为the the the the the the the，由于翻译结果中的每一个单词都出现在了参考翻译结果中，因此其机器翻译的准确率为1.0，这显然是荒谬的）
• 改进后的精确度：每一个单词的分数最多是其在每一个参考翻译结果中的出现次数。但是，改进后的精确度也仅仅取决于独立的单词，而忽略了句子层面的因素，也就是多个相邻单词构成的词组。
• n-gram模型：其实查看词组的思想和改进后的准确率思想相同，只是查看的对象从单个词语变为了连续的n个单词构成的词组。往往我们需要考虑n为多种值的情况，例如1 2 3 4；对n为不同值时的结果进行加权平均（大部分时候简单的算术平均即可）。
• 联合BLEU分数：将多个n-gram模型的计算平均值作为指数，求自然底数e的幂函数，即可获得联合BLEU分数。
• BP惩罚系数：BP惩罚系数是为了防止翻译结果比真实翻译结果短太多。