L1 - Xtuner微调自我认知模型

最新推荐文章于 2024-08-09 23:53:30 发布

gffvgvb

最新推荐文章于 2024-08-09 23:53:30 发布

阅读量442

点赞数 15

文章标签： python 笔记人工智能

本文链接：https://blog.csdn.net/2301_76609297/article/details/141070903

版权

任务说明：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知。

这里我会让模型训练成自我认知为“NYAN”的小助手

1. 准备工作

先clone一下Turtol啥的

mkdir -p /root/InternLM/Tutorial
git clone -b camp3  https://github.com/InternLM/Tutorial /root/InternLM/Tutorial

搞个虚拟环境

在安装 XTuner 之前，我们需要先创建一个虚拟环境。使用 Anaconda 创建一个名为 xtuner0121 的虚拟环境，可以直接执行命令。

# 创建虚拟环境
conda create -n xtuner0121 python=3.10 -y

# 激活虚拟环境（注意：后续的所有操作都需要在这个虚拟环境中进行）
conda activate xtuner0121

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.39.3
pip install streamlit==1.36.0

安装 XTuner

虚拟环境创建完成后，就可以安装 XTuner 了。首先，从 Github 上下载源码。

# 创建一个目录，用来存放源代码
mkdir -p /root/InternLM/code

cd /root/InternLM/code

git clone -b v0.1.21  https://github.com/InternLM/XTuner /root/InternLM/code/XTuner

其次，进入源码目录，执行安装。

# 进入到源码目录
cd /root/InternLM/code/XTuner
conda activate xtuner0121

# 执行安装
pip install -e '.[deepspeed]'

如果速度太慢可以换成 pip install -e '.[deepspeed]' -i https://mirrors.aliyun.com/pypi/simple/

最后，我们可以验证一下安装结果。

xtuner version

对于很多初学者而言，我们可能不太熟悉 XTuner 的用法，那么我们可以通过以下命令来查看相关的帮助。

xtuner help

对于很多的初学者而言，安装好环境意味着成功了一大半！因此我们接下来就可以进入我们的下一步，准备好我们需要的模型、数据集和配置文件，并进行微调训练！

模型准备

软件安装好后，我们就可以准备要微调的模型了。

对于学习而言，我们可以使用 InternLM 推出的1.8B的小模型来完成此次微调演示。

对于在 InternStudio 上运行的小伙伴们，可以不用通过 HuggingFace、OpenXLab 或者 Modelscope 进行模型的下载，在开发机中已经为我们提供了模型的本地文件，直接使用就可以了。

我们可以通过以下代码一键通过符号链接的方式链接到模型文件，这样既节省了空间，也便于管理。

# 创建一个目录，用来存放微调的所有资料，后续的所有操作都在该路径中进行
mkdir -p /root/InternLM/XTuner

cd /root/InternLM/XTuner

mkdir -p Shanghai_AI_Laboratory

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b Shanghai_AI_Laboratory/internlm2-chat-1_8b

执行上述操作后，Shanghai_AI_Laboratory/internlm2-chat-1_8b 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。

这意味着，当我们访问 Shanghai_AI_Laboratory/internlm2-chat-1_8b 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。通过这种方式，我们无需复制任何数据，就可以直接利用现有的模型文件进行后续的微调操作，从而节省存储空间并简化文件管理。

模型文件准备好后，我们可以使用tree命令来观察目录结构。

apt-get install -y tree

tree -l

我们的目录结构应该是这个样子的。

目录结构

├── Shanghai_AI_Laboratory
│   └── internlm2-chat-1_8b -> /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
│       ├── README.md
│       ├── config.json
│       ├── configuration.json
│       ├── configuration_internlm2.py
│       ├── generation_config.json
│       ├── model-00001-of-00002.safetensors
│       ├── model-00002-of-00002.safetensors
│       ├── model.safetensors.index.json
│       ├── modeling_internlm2.py
│       ├── special_tokens_map.json
│       ├── tokenization_internlm2.py
│       ├── tokenization_internlm2_fast.py
│       ├── tokenizer.model
│       └── tokenizer_config.json

在目录结构中可以看出，internlm2-chat-1_8b 是一个符号链接。

2. 环境设置

首先,激活XTuner环境并进入工作目录:

conda activate xtuner0121
cd /root/InternLM/XTuner

3. 修改数据生成脚本

cd /root/InternLM/XTuner
touch xtuner_generate_assistant.py

输入脚本内容并保存：

xtuner_generate_assistant.py
import json

# 设置用户的名字
name = 'NYAN' # 改成你自己的名字
# 设置需要重复添加的数据次数
n =  3750

# 初始化数据
data = [
    {"conversation": [{"input": "请介绍一下你自己", "output": "我是{}的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦".format(name)}]},
    {"conversation": [{"input": "你在实战营做什么", "output": "我在这里帮助{}完成XTuner微调个人小助手的任务".format(name)}]}
]

# 通过循环，将初始化的对话数据重复添加到data列表中
for i in range(n):
    data.append(data[0])
    data.append(data[1])

# 将data列表中的数据写入到'datas/assistant.json'文件中
with open('datas/assistant.json', 'w', encoding='utf-8') as f:
    # 使用json.dump方法将数据以JSON格式写入文件
    # ensure_ascii=False 确保中文字符正常显示
    # indent=4 使得文件内容格式化，便于阅读
    json.dump(data, f, ensure_ascii=False, indent=4)

4. 生成新的数据集

运行修改后的脚本以生成新的训练数据:

python xtuner_generate_assistant.py

这将在datas/assistant.json中创建新的数据集。

5. 修改配置文件

3.2.2.1 列出支持的配置文件

XTuner 提供多个开箱即用的配置文件，可以通过以下命令查看。

xtuner list-cfg 命令用于列出内置的所有配置文件。参数 -p 或 --pattern 表示模式匹配，后面跟着的内容将会在所有的配置文件里进行模糊匹配搜索，然后返回最有可能得内容。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索 internlm2。

conda activate xtuner0121

xtuner list-cfg -p internlm2

配置文件名的解释

以 internlm2_1_8b_full_custom_pretrain_e1 和 internlm2_chat_1_8b_qlora_alpaca_e3 举例：

配置文件 internlm2_1_8b_full_custom_pretrain_e1	配置文件 internlm2_chat_1_8b_qlora_alpaca_e3	说明
internlm2_1_8b	internlm2_chat_1_8b	模型名称
full	qlora	使用的算法
custom_pretrain	alpaca	数据集名称
e1	e3	把数据集跑几次

在这里插入图片描述

编辑internlm2_chat_1_8b_qlora_alpaca_e3_copy.py配置文件:

nano internlm2_chat_1_8b_qlora_alpaca_e3_copy.py

更新evaluation_inputs:

#######################################################################
#                          PART 1  Settings                           #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2-chat-1_8b'
+ pretrained_model_name_or_path = '/root/InternLM/XTuner/Shanghai_AI_Laboratory/internlm2-chat-1_8b'

- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = 'datas/assistant.json'

evaluation_inputs = [
-    '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+    '请介绍一下你自己', 'Please introduce yourself'
]

#######################################################################
#                      PART 3  Dataset & Dataloader                   #
#######################################################################
alpaca_en = dict(
    type=process_hf_dataset,
-   dataset=dict(type=load_dataset, path=alpaca_en_path),
+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
    tokenizer=tokenizer,
    max_length=max_length,
-   dataset_map_fn=alpaca_map_fn,
+   dataset_map_fn=None,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length,
    use_varlen_attn=use_varlen_attn)
    ....
   （太长了写不下，就这样吧）

在这里插入图片描述

6. 开始微调

使用修改后的配置文件启动微调过程:

xtuner train ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py

训练中：
在这里插入图片描述

7. 转换模型格式

微调完成后,将模型转换为HuggingFace格式:

# 获取最新的pth文件
pth_file=$(ls -t ./work_dirs/internlm2_chat_1_8b_qlora_alpaca_e3_copy/*.pth | head -n 1)

# 转换模型
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

在这里插入图片描述

转换完成后，可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件，这就代表着文件成功被转化为 HuggingFace 格式了。

此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”

8. 合并模型

将微调后的模型与原始模型合并:

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/InternLM/XTuner/Shanghai_AI_Laboratory/internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB

模型合并完成后，我们的目录结构应该是这样子的。

├── merged
│   ├── config.json
│   ├── configuration_internlm2.py
│   ├── generation_config.json
│   ├── modeling_internlm2.py
│   ├── pytorch_model-00001-of-00002.bin
│   ├── pytorch_model-00002-of-00002.bin
│   ├── pytorch_model.bin.index.json
│   ├── special_tokens_map.json
│   ├── tokenization_internlm2.py
│   ├── tokenization_internlm2_fast.py
│   ├── tokenizer.json
│   ├── tokenizer.model
│   └── tokenizer_config.json

在模型合并完成后，我们就可以看到最终的模型和原模型文件夹非常相似，包括了分词器、权重文件、配置信息等等。

9. 准备测试脚本

修改xtuner_streamlit_demo.py脚本以使用新的合并模型:

nano /root/InternLM/Tutorial/tools/xtuner_streamlit_demo.py

更新模型路径:

model_name_or_path = "/root/InternLM/XTuner/merged"

10. 启动Streamlit应用

运行Streamlit应用来测试新模型:

streamlit run /root/InternLM/Tutorial/tools/xtuner_streamlit_demo.py

11. 进行端口映射

在本地机器上执行以下命令进行端口映射(请替换为您的实际端口号):

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p <your_port_number>

12. 测试模型

在浏览器中访问http://127.0.0.1:8501来与新模型进行对话。尝试询问它的身份,它能正确地将自己识别为"NYAN"的小助手
在这里插入图片描述

结论

完成这些步骤后,有一个经过微调的模型,它能够将自己识别为名为"NYAN"的助手。

gffvgvb

关注

15
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
L1 - Xtuner微调自我认知模型

任务说明：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知。
复制链接

扫一扫