大模型LLM微调技术进展与热门方法汇总

大模型微调是机器学习中的一项重要技术，旨在帮助我们降低成本，进一步提高模型的性能。具体来说，大模型微调指的是在现有预训练模型的基础上，根据特定任务数据进行微调，以适应任务的特定需求，以便我们更好地解决各种实际问题。

目前较为流行的大模型微调技术是 「PEFT」(Parameter-Efficient Fine Tuning)，只对部分的参数进行训练，主要有Prompt Tuning、Prefix Tuning、LoRA、QLoRA等方法。

技术

1、Parameter-efficient fine-tuning of large-scale pre-trained language models

「标题：」 参数高效的大规模预训练语言模型微调

「一句话概括：」 随着预训练语言模型规模的增长，逐渐出现了只优化和改变模型的小部分参数的delta调整方法，这种参数高效的调整方式可以有效地刺激大规模模型，并极大降低计算和存储成本。

2、The Power of Scale for Parameter-Efficient Prompt Tuning

「标题：」 规模化带来的参数高效提示调优的力量

「一句话概括：」 本文通过学习软提示来调节冻结的语言模型，这种提示调优方法随着模型规模的增长而变得更有竞争力，在大模型上几乎匹配全模型调优的性能，还具有鲁棒性和效率优势。

3、Scaling Instruction-Finetuned Language Models

「标题：」 大规模指令微调语言模型

「一句话概括：」 在大规模指令任务上微调语言模型可以极大提升模型在各类设置下的性能和泛化能力，是增强预训练语言模型效果和可用性的通用有效方法。

4、Towards Better Instruction Following Language Models for Chinese

「标题：」 面向中文的更好指令遵循语言模型

「一句话概括：」 本文通过在多种公开中文指令数据集上全面评估开源对话模型，发现训练数据的量、质和语言分布等因素对模型性能有重要影响，并通过扩充词表和二次预训练提升了中文领域模型的效果。

5、Exploring the Impact of Instruction Data Scaling on Large Language Models An Empirical Study on Real-World Use Cases

「标题：」 探索指令数据规模化对大规模语言模型的影响——基于真实场景的实证研究

「一句话概括：」 本文通过构建真实场景的评估集，发现指令调优后模型性能随训练数据量的提升而持续改进，但在某些任务上提升乏力，需要考虑数据质量选择、模型和方法的扩展。

6、ChatHome: Development and Evaluation of a Domain-Specific Language Model for Home Renovation

「标题：」 ChatHome：开发并评估一个用于家居装修的领域特定语言模型

「一