第五课：LMDeploy 大模型量化部署实践

1 环境配置,尝试手工搭建个，昨天第四课的就是手工搭建成功了，今天再试试。
## watch vgpu-smi 
conda create -n lmdeploy python=3.10 -y
conda activate lmdeploy

conda install pytorch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 pytorch-cuda=12.1 -c pytorch -c nvidia

pip install packaging

# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl
pip install lmdeploy[all]
python -c '''import lmdeploy'''

2、下载和转换模型

cd ~
mkdir abelezm && cd abelezm
lmdeploy convert internlm-chat-7b  /share/temp/model_repos/internlm-chat-7b/