部署运行Vicuna-小羊驼
本次部署采用的是CPU运行,GPU与CPU的部署方式都一样,如需更了解详细的资料,可以访问GitHub链接: https://github.com/lm-sys/FastChat
环境简介
根据GitHub上简介可以知道:
运行Vicuna-7B需要RAM>30GB或者14GB的显存
运行Vicuna-13B需要RAM>60GB或者28GB的显存
由于本地我没有足够的硬件设备,所以本次部署采用的是网上租用设备来部署
我使用的是矩池云提供的服务。
我租用的是CPU算力(主要是没钱,GPU算力有点贵啊),硬件信息如下:
可使用CPU数 | 可使用内存 | 硬盘 |
---|---|---|
8 | 40 GB | Samsung SSD 870 |
硬盘带宽 | 可用空间 | CPU型号 |
376.62 MB/s | 100 GB | Intel® Xeon® Platinum 8260L CPU @ 2.30GHz |
所需数据下载
本次部署需要的数据有两个一个是LLaMa模型还有一个是vicuna-7b-delta-v1.1
LLaMA下载
磁力链接下载
在这里我采用的是7B
磁力链接:magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA
百度网盘及天翼云盘下载
百度网盘:
链接:https://pan.baidu.com/s/1SfY8M_MVQWWKU6fNdGcfZg
提取码:dz5e
天翼云盘:
https://cloud.189.cn/t/qyYveyFFZZ7z (访问码:uem0)
下载完成结果
vicuna-7b-delta-v1.1下载
官网下载链接
官网下载链接:https://huggingface.co/lmsys/vicuna-7b-delta-v1.1
百度网盘及天翼云盘下载
百度网盘:
链接:https://pan.baidu.com/s/1vPkFW1U_xg0LV72o28xOWA
提取码:hgz5
天翼云盘:
https://cloud.189.cn/t/yABFz2y63iiq (访问码:gms5)
下载结果展示
将LLaMA及vicuna-7b-delta-v1.1上传到CPU服务器上
这里我使用的是百度网盘,你需要把你的数据放在百度网盘上的我的应用数据文件夹内
安装bypy
pip install bypy
获取授权码
bypy info
复制图片中的网址到浏览器访问(确定你登录的账号是正确的)
把获取到的授权码粘贴到服务器内
下载命令
提供bypy把LLaMA及vicuna-7b-delta-v1.1下载到服务器内
bypy list #查看文件列表
bypy downdir 文件夹名 #这个命令会下载文件夹内的所有数据
bypy downfile 文件名 #下载单个文件的命令
下载完结果展示:
正式部署
安装fschat及huggingface/transformers更改
pip install fschat
默认安装的protobuf会因为版本过高而不兼容,所以需要降版本
pip install protobuf==3.20.0
git clone https://github.com/huggingface/transformers.git
python setup.py install
转换llaMA模型
python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir LLaMA/ --model_size 7B --output_dir ./output/llama-7b
input_dir | LLaMA权重文件的路径 |
---|---|
model_size | 7B,如果你是13B就改为13B |
output_dir | 转换成功后的保存路径 |
合并生成Vicuna模型
python -m fastchat.model.apply_delta --base ./output/llama-7b --target ./vicuna-7b --delta ./vicuna-7b-delta-v1.1
base | 转换llaMA模型后的路径 |
---|---|
target | 合并生成后的保存路径 |
delta | 下载的vicuna-7b-delta-v1.1路径 |
运行
python -m fastchat.serve.cli --model-path ./ --device cpu
#--device cpu 用CPU运行
#如果你是GPU运行,确保显存足够
model-path | 合并生成后的Vicuna模型路径 |
---|---|
运行结果展示
至此,Vicuna的部署到此完成。