InternLM-class4

小助手认知微调实践

基础作业：

1.环境

# 如果你是在 InternStudio 平台，则从本地 clone 一个已有 pytorch 2.0.1 的环境：
/root/share/install_conda_env_internlm_base.sh xtuner0.1.9
# 如果你是在其他平台：
# conda create --name xtuner0.1.9 python=3.10 -y

# 激活环境
conda activate xtuner0.1.9
# 进入家目录 （~的意思是 “当前用户的home路径”）
cd ~
# 创建版本文件夹并进入，以跟随本教程
mkdir xtuner019 && cd xtuner019


# 拉取 0.1.9 的版本源码
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 无法访问github的用户请从 gitee 拉取:
# git clone -b v0.1.9 https://gitee.com/Internlm/xtuner

# 进入源码目录
cd xtuner

# 从源码安装 XTuner
pip install -e '.[all]'

2. 数据

mkdir -p /root/xtuner019/personal_assistant && cd /root/xtuner019/personal_assistant

import json

# 输入你的名字
name = 'ShelterW'
# 重复次数
n = 2000

data = [
    {
        "conversation": [
            {
                "input": "请做一下自我介绍",
                "output": "我是{}的哲学小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)
            }
        ]
    },
    {
        "conversation": [
            {
                "input": "你是谁？",
                "output": "我是{}的哲学小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)
            }
        ]
    },
        {
        "conversation": [
            {
                "input": "你叫什么名字？",
                "output": "我是{}的哲学小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)
            }
        ]
    },
    {
        "conversation": [
            {
                "input": "能否请你介绍一下自己？",
                "output": "我是{}的哲学小助手，内在是上海AI实验室书生·浦语的7B大模型哦".format(name)
            }
        ]
    }
]

new_data = []
for i in range(n):
    for data_ in data:
        new_data.append(data_)

with open('personal_assistant.json', 'w', encoding='utf-8') as f:
    json.dump(new_data, f, ensure_ascii=False, indent=4)

3. 微调脚本

# PART 1 中
# 预训练模型存放的位置
pretrained_model_name_or_path = '/root/share/temp/model_repos/internlm-chat-7b'

# 微调数据存放的位置
data_path = '/root/xtuner019/personal_assistant/personal_assistant.json'

# 训练中最大的文本长度
max_length = 512

# 每一批训练样本的大小
batch_size = 2

# 最大训练轮数
max_epochs = 3

# 学习率
lr = 1e-3

# 权重衰减
weight_decay = 1e-2

# 验证的频率
evaluation_freq = 100

# 用于评估输出内容的问题（用于评估的问题尽量与数据集的question保持一致）
evaluation_inputs = [
    '请做一下自我介绍', '你是谁？', '你叫什么名字？', '能否请你介绍一下自己？'
]

# quantization_config
load_in_4bit=False
load_in_8bit=True

# lora
r=8
lora_alpha=32


# PART 3 中
dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path))
dataset_map_fn=None

4. 参数转换和合并

训练后的pth格式参数转Hugging Face格式

# 创建用于存放Hugging Face格式参数的hf文件夹
mkdir /root/xtuner019/personal_assistant/work_dirs/hf

export MKL_SERVICE_FORCE_INTEL=1

# 配置文件存放的位置
export CONFIG_NAME_OR_PATH=/root/xtuner019/personal_assistant/internlm_chat_7b_qlora_oasst1_e3_copy.py

# 模型训练后得到的pth格式参数存放的位置
export PTH=/root/xtuner019/personal_assistant/work_dirs/internlm_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth

# pth文件转换为Hugging Face格式后参数存放的位置
export SAVE_PATH=/root/xtuner019/personal_assistant/work_dirs/hf

# 执行参数转换
xtuner convert pth_to_hf $CONFIG_NAME_OR_PATH $PTH $SAVE_PATH

Merge模型参数

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER='GNU'

# 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/share/temp/model_repos/internlm-chat-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/xtuner019/personal_assistant/work_dirs/hf

# 最终Merge后的参数存放的位置
mkdir /root/xtuner019/personal_assistant/work_dirs/hf_merge
export SAVE_PATH=/root/xtuner019/personal_assistant/work_dirs/hf_merge

# 执行参数Merge
xtuner convert merge \
    $NAME_OR_PATH_TO_LLM \
    $NAME_OR_PATH_TO_ADAPTER \
    $SAVE_PATH \
    --max-shard-size 2GB

5. 网页DEMO

streamlit run /root/xtuner019/personal_assistant/demo/InternLM/web_demo.py --server.address 127.0.0.1 --server.port 6006

进阶作业：

模型中心-OpenXLab