本文是LLM系列文章,针对《NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING》的翻译。
摘要
我们展示了语言模型微调可以通过简单的增强来改进,有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%,而使用噪声嵌入时,这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进,使用ShareGPT8%的改进,OpenPlatypus改进了8%。即使是用RLHF进一步改进的强大模型,如LLaMA-2-Chat,也可以从NEFTune的额外训练中受益。
1 引言
2 NEFTUNE:噪声嵌入指令调整
3 实验设置
4 结果
5 分析
6 结论与局限性
NEFTune的成功表明了算法和正则化子在LLM训练中经常被忽视的重要性。与计算机视觉社区多年来一直在研究正则化和过拟合不同,LLM社区倾向于使用标准化的训练循环,这些训练循环是为优