自我认知训练数据集准备
环境配置—前面已经配置好了,直接进入环境中
conda activate llama3
cd XTuner
pip install .[all]
cd ~/Llama3-Tutorial python tools/gdata.py
修改名字
以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示:
[ { "conversation": [ { "system": "你是一个懂中文的小助手", "input": "你是(请用中文回答)", "output": "您好,我是达达的智能助手,一个由 SmartFlowAI 打造的人工智能助手,请问有什么可以帮助您的吗?" } ] }, { "conversation": [ { "system": "你是一个懂中文的小助手", "input": "你ji(请用中文回答)", "output": "您好,我是达达的智能助手,一个由 SmartFlowAI 打造的人工智能助手,请问有什么可以帮助您的吗?" } ] } ]
XTuner配置文件准备
小编为大佬们修改好了configs/assistant/llama3_8b_instruct_qlora_assistant.py 配置文件(主要修改了模型路径和对话模板)请直接享用~
训练模型
cd ~/Llama3-Tutorial # 开始训练,使用 deepspeed 加速,30% A100 24G显存 xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth --deepspeed deepspeed_zero2_offload # Adapter PTH 转 HF 格式 xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \ /root/llama3_pth/iter_1000.pth \ /root/llama3_hf_adapter # 模型合并 export MKL_SERVICE_FORCE_INTEL=1 xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \ /root/llama3_hf_adapter\ /root/llama3_hf_merged
推理验证
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \ /root/llama3_hf_merged
ps -ef查看所有进程
kill -9 进程号 可以结束占显存的进程。
此时 Llama3 拥有了他是 SmartFlowAI 打造的人工智能助手的认知!!!