大语言模型高效微调所需的最小数据

这篇文章专注于解决大语言模型高效微调的问题，特别强调了数据效率和超参数优化的重要性。研究发现，即便是在小规模数据集上进行微调，模型性能也很优异，而当继续增大样本数量时，模型性能趋于饱和，进一步增加数据对提升效果的边际贡献变小。

文章还介绍了一种创新的贝叶斯超参数优化方法，这种方法在训练初期就能对模型性能做出有效评估，且与最终模型性能高度相关，这表明在训练早期就能筛选出表现优秀的模型。这些发现对于实践者来说意义重大，能够帮助他们在减少计算成本和数据依赖的同时，增强微调LLM的总体性能。

1 数据效率研究

为了探讨不同数据量对微调性能的影响，研究者进行了系统性的实验，目的是找到模型性能与数据量之间的最佳平衡点，从而优化资源利用。最终发现，虽然小型数据集可以带来显著的改进，但是必须仔细考虑训练数据中属性的分布，以确保模型在所有目标变量上的全面表现。这对于在资源受限环境中寻求优化数据收集和注释过程的实践者具有重要意义。未来的研究可能会探索数据增强技术或不同的采样策略，以进一步增强模型性能，特别是针对那些出现频率较低的属性。

（1）快速初始改进：

使用约200个样本（相当于大约100个网页），模型的准确率从70%显著提升至88%。这表明即使是相对较小的数据集也能带来显著的性能提升。

（2）收益递减：

在达到1,000个样本后，准确率提升的速度开始放缓，意味着大部分性能增益在这个数据量水平就已经实现。

（3）属性特定趋势：

后期的准确率提升主要由一个特定的属性类型——产品评分所驱动。这一属性在数据集中出现的频率较低，只在大约2