第 4 节 XTuner 大模型单卡低成本微调实战

1.Finetune简介

- 大语言模型在海量文本内容上，基于无监督和半监督进行训练的。
- 在具体场景中表现不尽如人意故需要微调。
- 微调模式：增量预训练和指令微调。
- 增量预训练：给某些投喂一些某研究领域的新知识。
- 指令跟随：预训练模型仅仅简单拟合训练集中的分布，为使模型更加服从指令，需要
进行指令微调，得到instructed LLM。

1.微调方式-指令跟随微调

    -对话模板

2.微调方式-增量微调

2.XTuner介绍

2.安装

3.8GB显卡玩转LLM

4.作业：

基础作业：

        训练

        微调前

        微调后

        微调前

     	微调后