第4节作业

最新推荐文章于 2024-07-13 22:27:25 发布

tuyihan

最新推荐文章于 2024-07-13 22:27:25 发布

阅读量751

点赞数 9

文章标签：笔记

本文链接：https://blog.csdn.net/tuyihan/article/details/136784810

版权

训练中间结果
在这里插入图片描述

导出为 hf 的结果
在这里插入图片描述

在这里插入图片描述

分为增量预训练和指令跟随

在这里插入图片描述

指令微调:

instructed 大模型，告诉他要回答一个问题
在这里插入图片描述

在这里插入图片描述
完成对话模板

在这里插入图片描述
System 部分不需要用户指定，但在推理时可以更改
User 部分是用户添加的

在这里插入图片描述
只需要在后边答案的部分计算loss, 前民的模板处不用

在这里插入图片描述

对整个模型都训练的话，需要很大的显存开销，用LoRA的话，不需要很大的显存

在这里插入图片描述
就是加一个旁路分支，加两个 linear (叫做 linear )远小于原来的模型参数

在这里插入图片描述
全参数微调，需要显存
LoRA只需要加载需要优化的部分的参数
QLoRA在加载的过程中就用4bit的方式加载，节省显存，在GPU和CPU间调度

在这里插入图片描述
XTuner 是一个打包好的大模型工具箱，支持从 hugging face 和 modelscope 加载模型和数据集
支持InternLM, Meta的Llama

在这里插入图片描述

Flash Attention和DeepSpeed ZeRO 是两个重要技巧，用来加速，前者默认启动

xtuner list-cfg 查看配置

e3就是三次 epoch
在这里插入图片描述

复制配置，拷贝模型，拷贝数据集
在这里插入图片描述

需要修改 Config 配置文件

开始训练:

训练：
xtuner train ${CONFIG_NAME_OR_PATH}

也可以增加 deepspeed 进行训练加速：
xtuner train ${CONFIG_NAME_OR_PATH} --deepspeed deepspeed_zero2

开始跑之前会有一个map将数据集映射为 Xtuner 要用的样子

使用 deepspeed 进行加速

xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2

在这里插入图片描述

训练完成，将得到的 PTH 模型转换为 HuggingFace 模型

在这里插入图片描述
格式转换成功

将 HuggingFace adapter 合并到大语言模型：

与合并后的模型对话：

prompt template 参数是 internlm_chat

xtuner chat ./merged --prompt-template internlm_chat

测试
在这里插入图片描述

关注