1 环境配置,尝试手工搭建个,昨天第四课的就是手工搭建成功了,今天再试试。
## watch vgpu-smi
conda create -n lmdeploy python=3.10 -y
conda activate lmdeploy
conda install pytorch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 pytorch-cuda=12.1 -c pytorch -c nvidia
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题 pip install /share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl pip install lmdeploy[all] python -c '''import lmdeploy'''
2、下载和转换模型
cd ~ mkdir abelezm && cd abelezm lmdeploy convert internlm-chat-7b /share/temp/model_repos/internlm-chat-7b/