[大语言模型-论文精读] 利用多样性进行大型语言模型预训练中重要数据的选择

[大语言模型-论文精读] 利用多样性进行大型语言模型预训练中重要数据的选择

论文信息：

Harnessing Diversity for Important Data Selection in Pretraining Large Language Models
Authors: Chi Zhang, Huaping Zhong, Kuan Zhang, Chengliang Chai, Rui Wang, Xinlin Zhuang, Tianyi Bai, Jiantao Qiu, Lei Cao, Ye Yuan, Guoren Wang and Conghui He

1. 概览

问题解决：
这篇论文解决的主要问题是在预训练大型语言模型（LLMs）时，如何从大规模可用的训练语料库中选择数据的问题。特别是在数据质量参差不齐的情况下，如何有效地选择对模型性能提升有重要影响的数据实例。

研究结果：
论文提出了一种名为Quad的新方法，该方法在考虑数据质量的同时，还考虑了数据的多样性。Quad利用数据影响（influence）来评估数据质量，并通过簇聚类和多臂赌博机（Multi-Armed Bandit, MAB）方法来确保数据多样性。实验结果表明，Quad方法在预训练阶段能够达到最先进的结果。

2. 研究背景

技术背景：
大型语言模