[AI]算法小抄-总结大模型微调方式

系列文章主要目的快速厘清不同方法的原理差异和应用场景，

对于理论的细节请参考文末的Reference，

Reference中会筛选较为正确，细节的说明

想要建构属于自己应用或特定垂直领域的大模型，除了类似LangChain, TaskMatrix.AI使用Prompt工程的方式，微调(Fine tunning)是更可控且可以持续迭代的方式，预训练语言模型(PLM) + Finetuning的方式也是目前主流的范式，以下介绍几个主流方案，每个方案针对的场景，所需要的数据，成本都不相同：

Supervised finetuning

Prompt tuning

相比于直接透过子任务的结构去进行finetuning，prompt tuning主要是让数据变成更像是预训练模型更熟悉的模式进行finetuning，前身是In-Context Learning (ICL)，比如文本情绪分类任务，传统的finetuning数据和promt-tuning区别如下

[Normal Fintuning]

Input: This movie is great

label: happy

[Prompt Tuning]

Input: This movie is great, feel [Mask]

label: This movie is great, feel happy

可以观察到Prompt-tining的数据更接近自然语言的表述，更接近PLM训练的dmomain。主要的步骤包含：模版建构(Template con