机器翻译自动评估-BLEU算法详解

BLEU综述：

　　BLEU实质是对两个句子的共现词频率计算，但计算过程中使用好些技巧，追求计算的数值可以衡量这两句话的一致程度。
　　BLEU容易陷入常用词和短译句的陷阱中，而给出较高的评分值。本文主要是对解决BLEU的这两个弊端的优化方法介绍。
　　
　　参考文献有二：
　　- 《BLEU: a Method for Automatic Evaluation of Machine Translation 》
　　 - WIKIPEDIA中对BLEU的讲解
　　

---

　　

一．BLEU是什么？

　　首先要看清楚我们本篇文章的主人公是怎么拼写的——{B-L-E-U}，而不是{B-L-U-E}，简直了…..我叫了它两天的blue（蓝色）才发现原来e在u之前~~如果真要念出它的名字，音标是这样的：$[blε：]$（波勒）。
　　
　　BLEU的全名为：bilingual evaluation understudy，即：双语互译质量评估辅助工具。它是用来评估机器翻译质量的工具。当然评估翻译质量这种事本应该由人来做，机器现在是无论如何也做不到像人类一样思考判断的（我想这就是自然语言处理现在遇到的瓶颈吧，随便某个方面都有牵扯上人类思维的地方，真难），但是人工处理过于耗时费力，所以才有了BLEU算法。

　　BLEU的设计思想与评判机器翻译好坏的思想是一致的：机器翻译结果越接近专业人工翻译的结果，则越好。BLEU算法实际上在做的事：判断两个句子的相似程度。我想知道一个句子翻译前后的表示是否意思一致，显然没法直接比较，那我就拿这个句子的标准人工翻译与我的机器翻译的结果作比较，如果它们是很相似的，说明我的翻译很成功。因此，BLUE去做判断：一句机器翻译的话与其相对应的几个参考翻译作比较，算出一个综合分数。这个分数越高说明机器翻译得越好。（注：BLEU算法是句子之间的比较，不是词组，也不是段落）
　　
　　BLEU是做不到百分百的准确的，它只能做到个大概判断，它的目标也只是给出一个快且不差自动评估解决方案。

---

二．BLEU的优缺点有哪些？

　　优点很明显：方便、快速、结果有参考价值
　　
　　缺点也不少，主要有：

1. 1. 1. 　不考虑语言表达（语法）上的准确性；
      2.　 测评精度会受常用词的干扰；
      3.　 短译句的测评精度有时会较高；
      4. 　没有考虑同义词或相似表达的情况，可能会导致合理翻译被否定；

---

三．如何去实现BLEU算法？

　　首先，“机器翻译结果越接近专业人工翻译的结果，则越好”——要想让机器去评判一句话机器翻译好坏，得有两件工具：

1. 1.　衡量机器翻译结果越接近人工翻译结果的数值指标；
   2.　一套人工翻译的高质量参考译文；

　　其次，规范一下说法——

1. 1.　对一个句子我们会得到好几种翻译结果（词汇、词序等的不同），我们将这些翻译结果叫做 候选翻译集（candidate1, candidate2, ……）;
   2.　一个句子也会有好几个 参考翻译（reference1, reference2, ……）;
   3.　我们下面计算的比值，说白了就是精度，记做 $p_n$， n代表n-gram， 又叫做n-gram precision scoring—— 多元精度得分（具体解释见3.2）；
   4.　需要被翻译的语言，叫做源语言（source），翻译后的语言，叫做目标语言（target）；
   　　

3.1 最开始的BLEU算法

　　其实最原始的BLEU算法很简单，我们每个人都有意无意做过这种事：两个句子，S1和S2，S1里头的词出现在S2里头越多，就说明这两个句子越一致。就像这样子：similarity(‘i like apple’, ‘i like english’)=2/3。
　　
　　分子是一个候选翻译的单词有多少出现在参考翻译中（出现过就记一次，不管是不是在同一句参考翻译里头），分母是这个候选翻译的词汇数。
　　请看下面这个错误案例：

Candidate	the	the	the	the	the	the	the
Reference1	the	cat	is	on	the	mat
Reference2	there	is	a	cat	on	the	mat

计算过程：

1. 1.　候选翻译的每个词——the，都在参考译文中出现，分子为7；
   2.　候选翻译一共就7个词，分母为7；
   3.　这个翻译的得分: 7/7 = 1！

　　很明显，这样算是错的，需要改进一下。
　　
　　

3.2 改进的多元精度（n-gram precision）

　　专业一点，上面出现的错误可以理解为常用词干扰（over-generate “reasonable”words），比如the, on这样的词，所以极易造成翻译结果低劣评分结果却贼高的情况。
　　
　　另外，上面我们一个词一个词的去统计，以一个单词为单位的集合，我们统称uni-grams（一元组集）。如果是这样{“the cat”, “cat is”, “is on”, “on the”, “the mat”}，类似”the cat”两个相邻词一组就叫做bi-gram（二元组），以此类推：三元组、四元组、…、多元组（n-gram），集合变复数：n-grams。
　　
　　OK，上述算法问题其实处在分子的计算上，我们换成这个：

$$Count_{w_i,j}^{clip} = min(Count_{w_i},Ref_{j}\_Count_{w_i})$$
$$Count^{clip} = max(Count_{w_i,j}^{clip}), i=1,2,3......$$
名词解释： 对于一条候选翻译——

1. 1.　 $Count_{w_i}$： 单词 $w_i$的个数，如上表就是对“the”的计数为7；
   2.　 $Ref_{j}\_Count_{w_i}$:　词 $w_i$在第个