BLEU score 原理与解释

BLEU代表bilingual evaluation understudy，即双语评估替补。所谓替补就是代替人类来评估机器翻译的每一个输出结果。

例如法语翻译成英语的任务中，源语句是：
Le chat est sur le tapis
而翻译成英语的形式多种多样，例如：
reference1：The cat is on the mat.
reference2：There is a cat on the mat.
这两句都是很不错的人工进行的翻译，那么如何利用这两句话对其他机器翻译得出的结果进行评估呢？

一般衡量机器翻译输出质量的方法之一是观察输出结果的每一个词，看其是否出现在参考（也就是人工翻译结果）中，这被称为是机器翻译的精确度。而这样计算得出的精确度很快就能被一个反例打破，那就是：
the the the the the the the.
如果按照上面的精确度的评估方法，这句话中的每一个词the都出现在了参考句子中。那这句话的精确度就是7/7了，而事实上这是一个烂得不能再烂的翻译了。

为了对这样的不足之处进行改良，于是把每一个单词的计分上限定为它在参考句子中出现最多的次数。在reference1中，the出现了两次，在reference2中，the只出现了一次。所以会说单词the的得分上限是2。

有了这个改良后的精确度，我们就说，这个输出句子的得分为2/7，因为在7个词中，我们最多只能给它2分。所以这里分母就是7个词中单词the总共出现的次数，而分子就是单词the出现的计数。我们在达到上限时截断计数，这就是改良后的精确度评估（the modified precision measure）。

这是一元也就是1gram的情况，如果把两个词看成一组来进行统计，就是bigram的情况。

以机器输出的结果为例：The cat the cat on the mat

我们定义一下二元词组（bigrams）的BLEU得分。bigram的意思就是相邻的两个单词。现在我们来看看怎样用二元词组来定义BLEU得分，并且这仅仅只是最终的BLEU得分的一部分。我们会考虑一元词组（unigrams）也就是单个单词以及二元词组（bigrams），即成对的词，同时也许会有更长的单词序列，比如说三元词组（trigrams）。意思是三个挨在一起的词。我们继续刚才的例子，还是前面出现过的参考1和2，不过现在我们假定机器翻译输出了稍微好一点的翻译:The cat the cat on the mat，仍然不是一个好的翻译，不过也许比上一个好一些。这里，可能的二元词组有the cat ，忽略大小写，接着是cat the， 这是另一个二元词组，然后又是the cat。不过我已经有了，所以我们跳过它，然后下一个是cat on，然后是on the，再然后是the mat。所以这些就是机器翻译中的二元词组。好，我们来数一数每个二元词组出现了多少次。the cat出现了两次 ，cat the出现了一次，剩下的都只出现了一次。最后 ，我们来定义一下截取计数（the clipped count）。也就是Count_clip。为了定义它，我们以这列的值为基础，但是给算法设置得分上限，上限值为二元词组出现在参考1或2中的最大次数。the cat在两个参考中最多出现一次，所以我将截取它的计数为1。cat the它并没有出现在参考1和参考2中，所以我将它截取为0。cat on ，好，它出现了一次，我们就记1分。on the出现一次就记1分，the mat出现了一次，所以这些就是截取完的计数（the clipped counts）。我们把所有的这些计数都截取了一遍，实际上就是将它们降低使之不大于二元词组出现在参考中的次数。最后，修改后的二元词组的精确度就是count_clip之和。因此那就是4除以二元词组的总个数，也就是6。因此是4/6也就是2/3为二元词组改良后的精确度。

由此类推可以得到n-gram的词的精度其实就等于：
P n = ∑ n − g r a m ∈ y ^ C o u n t e r C l i p ( n − g r a m ) ∑ n − g r a m ∈ y ^ C o u n t e r ( n − g r a m ) P_n = \frac{\sum_{n-gram \in \hat y}CounterClip(n-gram)}{\sum_{n-gram \in \hat y}Counter(n-gram)} P