一种机器翻译的评价准则——Bleu

1. 引言

在牵涉到语句生成尤其是机器翻译的应用领域，如何衡量生成语句与参考语句之间的相似性是一个很重要的问题，而在2002年Kishore Papineni et al.就提出了一个经典的衡量标准Bleu，如今这篇文献已经引用量过万，因此是NLP领域必读文章之一。

2. 论文中使用的例子

论文中给出了四个例子来辅助解释算法，每个例子都有待评价(Candidate)语句和标准参考(Reference)语句。

Example 1.

Candidate 1：It is a guide to action which ensures that the military always obeys the commands of the party.

Candidate 2: It is to insure the troops forever hearing the activity guidebook that party direct.

Reference 1: It is a guide to action that ensures that the military will forever heed Party commands.

Reference 2: It is the guiding principle which guarantees the military forces always being under the command of the Party.

Reference 3: It is the practical guide for the army always to heed the directions of the party .

Example 2.

Candidate: the the the the the the the.

Reference 1: The cat is on the mat.

Reference 2: There is a cat on the mat.

Example 3.

Candidate: of the

Reference 1: It is a guide to action that ensures that the military will forever heed Party commands.

Reference 2: It is the guiding principle which guarantees the military forces always being under the command of the Party.

Reference 3: It is the practical guide for the army always to heed the directions of the party.

Example 4.

Candidate 1: I always invariably perpetually do.

Candidate 2: I always do.

Reference 1: I always do.

Reference 2: I invariably do.

Reference 3: I perpetually do.

3. Bleu方法使用的基本度量指标和概念

3.1 “n单位片段” (n-gram)

所谓n-gram就是指一个语句里面连续的n个单词组成的片段，一个18单词的语句有18个1-gram，每个单词都睡一个1-gram；有17个2-gram，这个很好理解。

3.2 精确度（Precision）和“修正的n-单位精确度”(modified n-gram recision)

Precision是指Candidate语句里面的n-gram在所有Reference语句里面出现的概率。

在Example 1.的Candidate 1 语句中，18个单词共有17个单词出现过，所以1-gram的precision是17/18,17个2-gram片段总共有10个出现过，所以2-gram的precision是10/17。同理有，Example 2.的Candidate 语句1-gram的Precision是7/7。

但是以上方法存在一个问题，就是可能Reference里面的单词会被重复利用，这是不合理的。所以有了“修正的n-单位精确度”(modified n-gram recision)，主要思路是Reference语句里面如果一个单词片段已经被匹配，那么这个片段就不能再次被匹配，并且一个单词片段只能取一个Reference语句中出现次数的最大值，比如7个the分别在Reference 1 和 2中出现2和1次，所以取2而不是两者相加的3。

利用以上方法，每一个句子都可以得到一个modified n-gram recision，一个句子不能代表文本翻译的水平高低，于是把一段话或者所有翻译句子的结果综合起来可以得到$p_n$

pn=∑C∈{ Candidate}