2024.1 书生·浦语大模型实战营 第 4 节 课后作业

项目地址：GitHub - InternLM/tutoriald

第四节课视频地址：(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili

基础作业：

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。

1. 创建conda环境，安装依赖以及XTuner

过程省略，参照教程文档

2. 准备微调数据

在/root目录下创建ft-diyqa文件夹，

参照https://github.com/InternLM/tutorial/blob/main/xtuner/self.md​​​​​​ 教程中的数据生成脚本，生成1W条同样的训练数据：

3. 准备模型

将internlm-chat-7b模型复制到ft-diyqa内

4. 准备训练脚本

将internlm_chat_7b_qlora_oasst1_e3.py复制到ft-diyqa内，并参照教程进行修改，截图如下：

4. 进行微调

使用xtuner进行微调，过程截图如下：

5. web demo部署，参照第二课教程，部署完成后进行对话，截图如下：