【机器翻译】【指标】扰动下的幻觉 Hallucination Under Perturbation HUP

机翻指标HUP源自文章HALLUCINATIONS IN NEURAL MACHINE TRANSLATION

https://openreview.net/pdf?id=SkxJ-309FQ

HUP翻译了机翻模型的鲁棒性以及翻译是否忠于源句。如何判断产生了幻觉？简单说就是，向源句加入微小扰动，参考翻译与无扰动翻译越相似，扰动翻译与无扰动翻译越不同，则说明产生了幻觉。这里的相似与否通过BLEU值来表明。HUP为幻觉的百分比。

原文将幻觉描述成四种模式：

四种常见的幻觉模式:(1)语法正确的输出与输入文本没有关系，(2)语法不正确的输出具有振荡结构，(3)输出大部分保留在源语言中，最后(4)简洁地跳转到序列的末尾。

并设计了扰动策略：

我们将这一发现扩展并系统化为一个暴力搜索过程(算法1)，将我们的标记分为几种类型:常见(100个最常见的德语标记)、罕见(100个最不常见的德语标记)、中频标记(从剩余的德语标记中随机抽样100个标记)和标点符号标记。此外，我们试图通过在开头、结尾、倒数第二和中间随机插入标记来打乱每个句子。我们对测试集中的每个句子都这样做，并为每个模型变量收集统计信息。

为了定义幻觉的定量阈值，我们修改了BLEU评分（adjusted bleu），它用于比较参考序列和翻译序列。

作者首先选择了在添加扰动前翻译BLEU>=0.09的句子，因为在向输入序列添加扰动令牌之前，也不是所有的翻译都是好的。首先选择了基本正确的翻译后，选择扰动翻译与无扰动翻译越不同（<0.01）的句子为幻觉。

。。。。

但没找着hup的实现