书生·浦语大模型实战营（二期）第四节课笔记

XTuner 微调 LLM

笔记

微调方式：

增量预训练（文本、书籍、代码），垂直类知识常识

指令微调（高质量对话、问答数据），对话模版

数据处理：

数据格式

对话模版

起始符和结束符

微调方案：

LoRA&QLoRA

  在Linear增加一个新的分支，包括两个小的linear。

LLaVa

Xtuner

config配置：

原理图：

1.Flash attention

注意力机制并行化，自动开启

2.DeepSpeed Zero