租用服务器3090
配置Fastchat
GitHub项目源地址:https://github.com/lm-sys/FastChat
先进行依赖包安装
pip3 install fschat
下载项目到本地,慢的话可以自己下载好通过FTP上传到服务器
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
升级pip并安装依赖包
# 不升级pip会报错,下面两种方式二选一
python3 -m pip install --upgrade pip # 方式一
pip3 install --upgrade pip # 方式二
# 升级之后运行下面命令进行安装
pip3 install -e .
配置transformers
# 下载transformers包
git clone https://github.com/huggingface/transformers.git
# 进入transformers目录
cd transformers
# 安装transformers
pip3 install -e .
上传模型权重——使用阿里云盘上传到数据盘(自己提前下载模型权重并保存到自己的阿里云盘)
启动vicuna-13b模型
# 显卡有28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b
# 显卡不足28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b --load-8bit
# /root/autodl-tmp/vicuna-13b 为模型权重路径,可以根据自己的情况替换为自己的路径