BLEURT：学习鲁棒的文本生成指标（论文解读）

这篇论文提出了一种新的文本生成任务评估指标，该指标利用 BERT 模型自动评估文本质量。作者通过在大量任务上进行预训练，并使用合成数据训练 BERT 模型，使其具有强大的鲁棒性。因此，该模型和得出的分数对分布变化具有很强的鲁棒性，作者认为这可以用于未来评估文本生成系统。

文章指出，目前文本生成任务，例如机器翻译，的评估主要依赖于人工评估，这存在速度慢、成本高、效率低等问题。传统的自动评估指标，例如困惑度，也无法完全反映文本质量。

为了解决这个问题，作者提出了一个新的基于 BERT 模型的自动评估指标。该指标通过分析文本中 n-gram 的重叠程度来评估文本质量。与传统的评估指标相比，该指标更能反映文本的语义信息，并且具有更高的鲁棒性。

文章认为，该指标可以有效地提高文本生成任务的评估效率和准确性，为未来文本生成系统的评估提供了一个新的方向。

对文本生成模型（例如机器翻译系统）进行适当的评估需要昂贵且缓慢的人工评估。随着这些模型在过去几年中不断改进，像BLEU这样的代理评分越来越没有用。本文提出了一种学习代理评分的方法，并证明它与人类评分者高度相关，即使数据分布发生变化。
概述：0:00 - 简介和高级概述1:00 - 评估机器翻译的问题5:10 - 任务评估作为学习问题10:45 - 朴素微调BERT13:25 - 在合成数据上预训练16:50 - 生成合成数据18:30 - 通过辅助任务进行引导23:35 - 实验和分布偏移27:00 - 问题和结论论文：https://arxiv.org/abs/2004.04696代码：https://github.com/google-research/bleurt
摘要：文本生成在过去几年取得了重大进展。然而，评估指标落后了，因为最流行的选择（例如BLEU和ROUGE）可能与人类判断的相关性很差。我们提出了BLEURT，一种基于BERT的学习评估指标，它可以使用几千个可能存在偏差的训练示例来建模人类判断。我们方法的关键方面是一种新颖的预训练方案，它使用数百万个合成示例来帮助模型泛化。BLEURT在过去三年的WMT指标共享任务和WebNLG竞赛数据集上提供了最先进的结果。与基于vanilla BERT的方法相比，即使训练数据稀缺且分布不一致，它也能产生更好的结果。