【书生·浦语大模型实战营第二期 第4节笔记】

由 XTuner 贡献者李剑锋、汪周谦、王群带来【XTuner 微调 LLM：1.8B、多模态和 Agent】课程内容的讲解~

1、微调理论讲解及 XTuner 介绍

2、XTuner 微调小助手个人认知实战

3、XTuner 微调 llava 图片理解多模态模型实战

首先，我们要先了解微调的重要性，现在的大源模型基本都是foundation模型，在普遍任务专域还是可以胜任的，但在实际的特定领域就会出现认知偏差，就例如Tesla，会被识别为人名等。所以必须进行专业领域的微调。

两种微调方式，其中指令跟随式更为高阶，需要与模型进行conversation。

课程还介绍了XTuner框架的使用方法和数据的重要性。实践部分手把手教大家如何使用XTuner微调自己的大模型，并介绍了1.8B和多模态的内容。