第五节课作业

1.创建开发机，选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。

2.切换终端模式，并创建虚拟环境，安装 lmdeploy

studio-conda -t lmdeploy -o pytorch-2.1.2

conda activate lmdeploy

pip install lmdeploy[all]==0.3.0

3.下载模型

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

4.打开vscode终端，创建并修改pipeline_transformer.py

5.运行pipeline_transformer.py文件，使用命令行与模型对话