FINETUNE简介
LLM下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式
指令跟随微调
使用场景：让模型学会对话模板，根据人类指令进行对话
训练数据：高质量的对话，问答数据
为什么需要指令微调？
因为在对话中模型只是根据我们的提问去拟合训练数据集中的分布，它并没有意识你的意图是在向它提问。
通过指令微调后，便可得到instructed LLM，可以输出我们更加相对满意的结果
在进行指令跟随微调前，先定义三个角色
System：给定一些上下文信息，例如我们想微调一个安全的AI助手，那System就是“你是一个安全的AI助手”。
User：用户提问，在微调时将对话样本的提问赋予此角色
Assistant：根据用户提问，结合System上下文信息，输出回答，在微调时将对话样本的回答赋予此角色
全参数微调 LoRA微调 QLoRA微调
XTuner
8GB显存 集成Flash Attention DeepSpeed
134
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
