NLP 评价标准 - BLEU

BLEU

论文：https://aclweb.org/anthology/P02-1040.pdf
思想：数词是否在ground truth里

举例

原文：猫坐在垫子上
机器翻译：The cat sat on the mat
人工翻译：The cat is on the mat

1-gram

可以看到机器翻译6个词，有5个词命中参考译文，那么它的匹配度为 5/6.

2-gram

2元词组的匹配度则是 3/5。

3-gram

3元词组的匹配度则是 1/4。

4-gram

4元词组的匹配情况就没有了。

存在的缺点

句子过短的情况
例：
机器译文：The cat
参考译文：The cat is on the mat.

解决方法
增加惩罚项系数