机翻指标HUP源自文章HALLUCINATIONS IN NEURAL MACHINE TRANSLATION
https://openreview.net/pdf?id=SkxJ-309FQ
HUP翻译了机翻模型的鲁棒性以及翻译是否忠于源句。如何判断产生了幻觉?简单说就是,向源句加入微小扰动,参考翻译与无扰动翻译越相似,扰动翻译与无扰动翻译越不同,则说明产生了幻觉。这里的相似与否通过BLEU值来表明。HUP为幻觉的百分比。
原文将幻觉描述成四种模式:
四种常见的幻觉模式:(1)语法正确的输出与输入文本没有关系,(2)语法不正确的输出具有振荡结构,(3)输出大部分保留在源语言中,最后(4)简洁地跳转到序列的末尾。
并设计了扰动策略:
我们将这一发现扩展并系统化为一个暴力搜索过程(算法1),将我们的标记分为几种类型:常见(100个最常见的德语标记)、罕见(100个最不常见的德语标记)、中频标记(从剩余的德语标记中随机抽样100个标记)和标点符号标记。此外,我们试图通过在开头、结尾、倒数第二和中间随机插入标记来打乱每个句子。我们对测试集中的每个句子都这样做,并为每个模型变量收集统计信息。
为了定义幻觉的定量阈值,我们修改了BLEU评分(adjusted bleu),它用于比较参考序列和翻译序列。
作者首先选择了在添加扰动前翻译BLEU>=0.09的句子,因为在向输入序列添加扰动令牌之前,也不是所有的翻译都是好的。首先选择了基本正确的翻译后,选择扰动翻译与无扰动翻译越不同(<0.01)的句子为幻觉。
。。。。
但没找着hup的实现