这篇论文提出了一种新的文本生成任务评估指标,该指标利用 BERT 模型自动评估文本质量。作者通过在大量任务上进行预训练,并使用合成数据训练 BERT 模型,使其具有强大的鲁棒性。因此,该模型和得出的分数对分布变化具有很强的鲁棒性,作者认为这可以用于未来评估文本生成系统。
文章指出,目前文本生成任务,例如机器翻译,的评估主要依赖于人工评估,这存在速度慢、成本高、效率低等问题。传统的自动评估指标,例如困惑度,也无法完全反映文本质量。
为了解决这个问题,作者提出了一个新的基于 BERT 模型的自动评估指标。该指标通过分析文本中 n-gram 的重叠程度来评估文本质量。与传统的评估指标相比,该指标更能反映文本的语义信息,并且具有更高的鲁棒性。
文章认为,该指标可以有效地提高文本生成任务的评估效率和准确性,为未来文本生成系统的评估提供了一个新的方向。
对文本生成模型(例如机器翻译系统)进行适当的评估需要昂贵且缓慢的人工评估。随着这些模型在过去几年中不断改进,像BLEU这样的代理评分越来越没有用。本文提出了一种学习代理评分的方法,并证明它与人类评分者高度相关,即使数据分布发生变化。
概述:0:00 - 简介和高级概述1:00 - 评估机器翻译的问题5:10 - 任务评估作为学习问题10:45 - 朴素微调BERT13:25 - 在合成数据上预训练16:50 - 生成合成数据18:30 - 通过辅助任务进行引导23:35 - 实验和分布偏移27:00 - 问题和结论论文:https://arxiv.org/abs/2004.04696代码:https://github.com/google-research/bleurt
摘要:文本生成在过去几年取得了重大进展。然而,评估指标落后了,因为最流行的选择(例如BLEU和ROUGE)可能与人类判断的相关性很差。我们提出了BLEURT,一种基于BERT的学习评估指标,它可以使用几千个可能存在偏差的训练示例来建模人类判断。我们方法的关键方面是一种新颖的预训练方案,它使用数百万个合成示例来帮助模型泛化。BLEURT在过去三年的WMT指标共享任务和WebNLG竞赛数据集上提供了最先进的结果。与基于vanilla BERT的方法相比,即使训练数据稀缺且分布不一致,它也能产生更好的结果。