作业2: Llama 3 Web Demo 部署
1 访问 IntenLM
在vscode中建立远程连接
输入streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py
~/model/Meta-Llama-3-8B-Instruct
打开本地浏览器,进行测试
作业3:- 使用 XTuner 完成小助手认知微调
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth
转换格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py /root/llama3_pth/iter_500.pth /root/llama3_hf_adapter
执行
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py
/root/llama3_hf_merged
作业3:使用LMDeploy 部署
新建环境:
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
备注:如果你用的是autodl,并且碰到了不能新建环境的情况,类似这种:
Collecting package metadata (current_repodata.json): failed
UnavailableInvalidChannel: HTTP 403 FORBIDDEN for channel anaconda/cloud/msys2 <https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2>
The channel is not accessible or is invalid.
You will need to adjust your conda configuration to proceed.
你可以使用
conda config --remove-key channels
恢复默认源就可以新建环境了
另外,如果无法conda activate env,请使用source activate env。见参考文献【2】
pip install -U lmdeploy[all]
另外,我在执行软链接的时候出现了一个错误:
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct
ln: failed to create symbolic link ‘/root/model/Meta-Llama-3-8B-Instruct/Meta-Llama-3-8B-Instruct’: Read-only file system
我没有找到解决这个问题的办法,
但是在 执行chat命令,没有影响
conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct
因为代码会强制用llama3,
也正常回答了,但是回复的都是英文,可以让它中文回复
参考文献:
https://blog.csdn.net/weixin_45884316/article/details/113530349
https://blog.csdn.net/sdnuwjw/article/details/112448792