[LLM][FT]大模型Fine-Tuning相关技术0

全参数微调FT

优势：

• 能适应新数据分布

劣势：

• 灾难性遗忘/泛化性差
• 成本高

高效微调PEFT

1.添加额外参数-adapters：在FeedForword后面添加

• 优点： 仅4%微调，就可以和fine-tuning相当
• 缺点：参数增加

Q:why放在FeedForword后面添加?

• 在决策层放比较make sense
• 比较简单
• 实验效果好

2.soft-prompts/隐式提升

对每一层加前缀微调，比如：prefix-tuning

3.重参数化-LoRA(低秩适配器)

paper: LoRA: Low-Rank Adaptation of Large Language Models[2106.09685]

dd–>dr × r*d
（r为秩）
思路源于SVD原理
把秩当成一个超参，让模型自己去学习，r一般取1,2,4,8,64等
r较小时，我们提取的是δ中信息最丰富的维度，信息精炼
r较大时，低秩近似逼近δ，噪声比较大

LoRA的 一个简单的视频教程：
视频：https://www.bilibili.com/video/BV1wX4y1s7an

How? 构建数据集

经验：50~100条就可以微调
比如，指令微调数据格式：
[{
“instruction”:“”
“input”:“”,
“output”:“”
}]

注意要点：

• 1)指令完整性
• 2）数据一致性
• 3）注意过多拒绝
• 4）多样性（平衡性）
• 5）注意token限制
• 6）注意数据格式

调参经验:

• 学习率e-4/e-5就行

训练方案：

多卡训练：deepspeed
offload

• 计算量低的放在cpu上，参数更新可以放在cpu上
• 充分利用cpu&GPU

推理加速方案：

vLLm：多并发处理，多进程
FastLLM：显存下降30%，速度提升20_%，1000tokens/s
llama.cpp