LLM：Vicuna 13B 环境配置(7B需要14G显存，13B需要28G显存）

k也无风雨

已于 2023-12-22 10:29:16 修改

阅读量1.8k

点赞数 10

文章标签：笔记

于 2023-12-22 10:26:41 首次发布

本文链接：https://blog.csdn.net/qq_46078469/article/details/130109992

版权

租用服务器3090

配置Fastchat
GitHub项目源地址：https://github.com/lm-sys/FastChat

先进行依赖包安装

pip3 install fschat

下载项目到本地，慢的话可以自己下载好通过FTP上传到服务器

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

升级pip并安装依赖包

# 不升级pip会报错，下面两种方式二选一
python3 -m pip install --upgrade pip # 方式一
pip3 install --upgrade pip     # 方式二

# 升级之后运行下面命令进行安装
pip3 install -e .

配置transformers

# 下载transformers包
git clone https://github.com/huggingface/transformers.git

# 进入transformers目录
cd transformers

# 安装transformers
pip3 install -e .

上传模型权重——使用阿里云盘上传到数据盘（自己提前下载模型权重并保存到自己的阿里云盘）

启动vicuna-13b模型

# 显卡有28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b 

# 显卡不足28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b --load-8bit 

# /root/autodl-tmp/vicuna-13b 为模型权重路径，可以根据自己的情况替换为自己的路径