【大模型】大模型微调方法总结（一）

1.微调

        微调是指调整大型语言模型（LLM）的参数以适应特定任务的过程。这是通过在与任务相关的数据集上训练模型来完成的。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。

        PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。

 2.微调方法

        微调可以分为全微调和部分重用两个方法。

2.1 全微调（Full Fine-tuning）

        全微调是指对整个预训练模型进行微调，包括所有的模型参数。在这种方法中，预训练模型的所有层和参数都会被更新和优化，以适应目标任务的需求。这种微调方法通常适用于任务和预训练模型之间存在较大差异的情况，或者任务需要模型具有高度灵活性和自适应能力的情况。Full Fine-tuning需要较大的计算资源和时间，但可以获得更好的性能。

2.2 部分微调（Repurposing）

        部分微调是指在微调过程中只更新模型的顶层或少数几层，而保持预训练模型的底层参数不变。这种方法的目的是在保留预训练模型的通用知识的同时，通过微调顶层来适应特定任务。Repurposing通常适用于目标任务与预训练模型之间有一定相似性的情况，或者任务数据集较小的情况。由于只更新少数层，Repurposing相对于Full Fine-tuning需要较少的计算资源和时间，但在某些情况下性能可能会有所降低。

3. 微调预训练模型的方法

3.1 微调所有层

        微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。

3.2 微调顶层

       微调顶层：只微调预训练模型的顶层，以适应新的任务。

3.3 冻结底层

        冻结底层：将预训练模型的底层固定不变，只对顶层进行微调。

3.4 逐层微调

        逐层微调：从底层开始，逐层微调预训练模型，直到所有层都被微调。

3.5 迁移学习

        迁移学习：将预训练模型的知识迁移到新的任务中，以提高模型性能。这种方法通常使用微调顶层或冻结底层的方法。