大模型微调技术——概述

大语言模型推动新一波AI的火热发展，呈现百发齐放的趋势。“预训练+微调”技术，可以让百亿级语言模型短时间内解决不同下游任务的需求(金融、医疗、法律)，极大提升了企业开发效率，甚至极有可能短时间内颠覆一家企业。本文对“微调技术”进行整体概述，首先汇总技术发展的背景和主流的脉络，正确看待大模型潜力和微调技术。其次是对微调技术的三大认识：三部曲（学习路线）、LLM训练、AI应用开发新范式。接着是涉及的核心概念，把握总体技术方向。最后是各种微调方法，及两大主流核心微调技术的异同点。

具体的各项技术原理概述可以参考整理的系列：
（阅读顺序先prefix tuning后p tuning可以更好梳理各项技术发展脉络及异同）
大模型微调技术系列原理：
大模型微调技术——概述
大模型微调技术——LoRA
大模型微调技术——Prefix Tuning 与 Prompt Tuning总结
大模型微调技术——P-Tuning及P-Tuning v2总结

一、背景

二、三大认识

涉及的核心概念

4. 常见的微调方法

5.LoRA 和P-Tuning异同

LoRA 和P-Tuning作为两大常见的主流微调技术（p-tuning v2已发布），了解两大技术的异同之处，可以更好了解微调性能差异和微调技术的选择。