五一假期Llama 3之魔改不完全攻略（Part 2)

2024年4月18日，Meta AI 正式宣布推出 Llama 3，这标志着开源大型语言模型（LLM）领域的又一重大进步。如同一颗重磅炸弹， Llama 3 以其卓越的性能和广泛的应用前景，预示着 AI 技术的新时代。

目前开源的是Llama3 8B 和 70B，趁着五一小长假，别人在外人从众，我在家偷偷魔改Llama3

一、魔改目标

把原来Meta AI 研发的Llama 3训练成本人自己的大模型，让他拥有对主人我的认知。

二、魔改工具

使用全链路开发工具。

三、开始魔改

1、下载工具Xtuner

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

2、准备数据 

用python脚本生产训练数据，格式如下：

[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是Jin's AI，一个由Jin 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    },
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "Who are you（请用中文回答）",
                "output": "您好，我是Jin's AI，一个由Jin 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    }
]

3、开始训练

xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

4、转换格式

xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

5、合并Adapter

export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

四、见证奇迹

现在开始教Llama3做人了，哈哈哈，“指鹿为马”

streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

魔改前Llama3对自己的认知，“一派胡言”

魔改后小样终于知道自己姓啥名谁了，“态度端正”