1.创建开发机,选择镜像Cuda12.2-conda
;选择10% A100*1
GPU;点击“立即创建”。注意请不要选择Cuda11.7-conda
的镜像,新版本的lmdeploy会出现兼容性问题。
2.切换终端模式,并创建虚拟环境,安装 lmdeploy
studio-conda -t lmdeploy -o pytorch-2.1.2
conda activate lmdeploy
pip install lmdeploy[all]==0.3.0
3.下载模型
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
4.打开vscode终端,创建并修改pipeline_transformer.py
5.运行pipeline_transformer.py文件,使用命令行与模型对话