书生浦语大模型实战营第四次课作业
基础作业:
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称!
进阶作业:
- 将训练好的Adapter模型权重上传到 OpenXLab、Hugging Face 或者 MoelScope 任一一平台。
- 将训练好后的模型应用部署到 OpenXLab 平台,参考部署文档请访问:Docs
1. 基础作业
目标:通过微调,帮助模型认清了解对自己身份弟位
方式:使用XTuner进行微调
1.1 准备数据和配置文件
修改为自己的名字
1.2 XTuner train
开始训练
训练完成:
1.3 微调后参数转换/合并
训练后的pth格式参数转Hugging Face格式
1.4 Merge模型
1.5 web_demo结果测试
微调成功,LLM对自身有了更清楚的认知(和弟位doge)
2. 进阶作业
上传权重文件到openxlab上
新建了一个repos
上传相关文件
剩下的来不及弄了...