书生·浦语大模型第四课笔记

这几课的主要是介绍如何利用xtuner进行internlm大模型的finetune

Finetune的介绍

Finetune模型一是增加新的数据 ，二是设计模板指令进行微调
指令跟随微调，需要设定几种不同角色，设计出N组对话
不同的大模型的对话模板是不同的

xunter的中的微调使用的是LoRA和QLoRA

Xtuner介绍

xtuner是一个打包好的大模型微调工具箱

xtuner可以理解一个命令，可以挑选配置模板并且一键训练