【论文泛读168】对训练数据进行重复数据消除会使语言模型变得更好

贴一下汇总贴：论文阅读记录

论文链接：《Deduplicating Training Data Makes Language Models Better》

一、摘要

我们发现现有的语言建模数据集包含许多几乎重复的示例和长重复的子字符串。结果，在这些数据集上训练的语言模型的自发输出中有超过 1% 是从训练数据中逐字复制的。我们开发了两种工具，允许我们对训练数据集进行重复数据删除——例如，从 C4 中删除一个重复超过 60,000 次的 61 个单词的英语句子。重复数据删除允许我们训练的模型发出记忆文本的频率降低十倍，并且需要更少的训练步骤来实现相同或更好的准确性。我们还可以减少训练测试重叠，这会影响超过 4% 的标准数据集验证集，从而实现更准确的评估。我们在此 Github 上发布用于重现我们的工作和执行数据集重复数据删除的代码。

二、结论

我们鼓励未来的语言模型研究执行数据集重复数据消除，方法是对我们发布的已消除重复数据的数据集进行培训，使用我们发布的重复数据消除工具，或者按照我们的方法使用新工具对数据集进行重复数据消除。

首先，用于执行重复数据消除的确切技术不如严格的重复数据消除重要。总的来说，尽管经过重复数据消除的数据集更小，因此训练速度更快，但重复数据消除并不会损害模型困惑，有时还会改善模型困惑。训练集和测试集之间没有重复是特别重要的，因为这里的重叠明确鼓励选择记住训练数据的模型。最后，重复数据消除有助于减少语言模型记忆训练数据时的隐私问题。

三、model

算是一种数据预处理方法，消除重复数据，有助于减少训练集的过拟合。