保姆级教程：Linux和Windows下本地化部署Vicuna模型

文章摘要

  模型及安装包下载链接

  这篇文章中，我们深入探索Vicuna模型。

  这是一个由UC Berkeley，CMU，Stanford和UC San Diego的团队开发的开源聊天机器人。这个模型的性能之强大，令人瞩目。在许多标准测试中，Vicuna都已证明其表现号称能达到GPT-4的90%性能，使其成为开源大模型领域的翘楚。

  本教程的目标是让大家能够在Linux和Windows操作系统下自己部署Vicuna模型。我将提供详细的安装步骤和全部所需的安装包下载链接，以便您可以轻松完成模型的部署。构建你自己的聊天机器人。

一、Vicuna简介

1. Vicuna模型定义

  Vicuna模型是一种开源的聊天机器人模型，它诞生于一次在ShareGPT平台上的大规模对话微调训练中。作为一种基于Transformer架构的自回归语言模型，Vicuna在2023年春季（3月至4月）经过精心的训练后，正式亮相。

2. Vicuna模型的应用场景

  Vicuna作为一个强大的大型语言模型和聊天机器人，被广大的自然语言处理、机器学习和人工智能研究者和爱好者用于学术研究和实际应用。

3. Vicuna模型的训练数据

  Vicuna模型依托于从ShareGPT.com收集的70K的丰富对话数据进行训练。为了衡量模型的品质，还特意设计了80个多样化的问题，由GPT-4来评判Vicuna模型的输出。

4. Vicuna模型的版本

  Vicuna模型的发展经历了多个版本，从最初的原始版本，到后续的一系列改进版本。在网络上我们可以找到一些用户对于不同版本的Vicuna的反馈：

• 原始Vicuna版本：部分用户在使用过程中未发现自我审查的问题，但偶尔会遭遇“失控”现象，即模型自我对话，误认为自己是用户。

• Vicuna-7B-1.1-GPTQ-4bit-128g：此版本获得了许多用户的好评，被视为目前的最佳选择之一。

• Uncensored Vicuna（未经审查的Vicuna）：对于这个版本，用户的反馈各不相同，一些人认为它有时会过度“说教”。

• Vicuna 1.1：Vicuna 1.1：与Vicuna 1.0相比，Vicuna 1.1解决了一些格式问题，因此有些用户更偏爱它。

  “13b"和"7b"是表示模型参数数量的标记。如“b”是"billion”（十亿）的缩写，"13b"代表模型具有130亿个参数，"7b"代表模型具有70亿个参数。UC伯克利学者联手CMU、斯坦福等推出的全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。小羊驼号称能达到GPT-4的90%性能，我们接下来进行部署。

5. 性能评估

  在Vicuna与GPT-4的比较中，GPT-4在90%的问题上更倾向于Vicuna的回答。相对于其他开源模型（如LLaMA和Alpaca），Vicuna表现出色，并且与专有模型（如ChatGPT和Bard）的竞争力也不容忽视。在45%的问题中，GPT-4认为Vicuna的回答至少与ChatGPT的同等或更优。根据GPT-4对每个回答的定量评分（满分为10），我们可以计算出每个模型在80个问题中获得的总分。在这个比较中，Vicuna的总分达到了ChatGPT的92%。

二、linux 操作系统下部署

1. 环境介绍

• CentOS Linux release 7.9.2009(core)
• 可以正常使用yum源
• 可以连通互联网

2. 安装Python3.10.7

2.1 下载Python3.10.7安装包

  在官网下载:https://www.python.org/ftp/python/3.10.7/Python-3.10.7.tgz

2.2 安装gcc编译器

  gcc有些系统版本已经默认安装，通过 gcc --version 查看

   没安装的先安装gcc，yum -y install gcc

2.3 安装依赖包

  不要缺少，否则有可能安装python出错，python3.7以下的版本可不装 libffi-devel ，我们所需要的是Python3.10.X版本

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

2.4 升级openssl版本

  此处有个坑，在此版本的openssl下编译安装Python3.10.7后，会出现报错 No module named ‘_ssl‘的情况，所以需要先手动将openssl升级3.05

2.4.1 安装perl-CPAN模块

  openssl 3.0使用perl代码，需要提前安装IPC/Cmd.pm模块。

yum install  -y perl-CPAN
yum install perl-IPC-Cmd

  进入CPAN的shell模式，首次进入需要配置shell，按照提示操作，一般选择默认配置，当提示中有sudo选项时，一定要选择sudo，然后其他选默认，出现 cpan[1]>提示符后，键入安装模块命令，安装后再键入退出命令。

cpan[1]> install IPC/Cmd.pm
cpan[2]> quit

  在无互联网的内网环境下，可以去https://metacpan.org网站下载模块，不使用CPAN的shell模式，直接以命令行形式安装。执行perl语句时，如提示某模块未安装，到官网查找下载后，依次安装。

yum install wget
wget https://cpan.metacpan.org/authors/id/B/BI/BINGOS/IPC-Cmd-1.04.tar.gz
tar -zxvf IPC-Cmd-1.04.tar.gz
cd IPC-Cmd-1.04.tar.gz
perl Makefile.PL
make
make install

2.4.2 编译安装openssl3.0.5

  在https://www.openssl.org的download中，根据需要下载3.0.5版本的压缩包

  在服务器上创建存放安装包的目录：

mkdir /usr/local/openssl3

  在服务器使用wget命令下载安装包

# 进入安装目录
cd /usr/local/openssl3
# 使用wget下载，如果下载不了，就本地下载通过FTP上传进行解压
wget --no-check-certificate https://www.openssl.org/source/openssl-3.0.5.tar.gz

  安装

# 解压安装包
tar xf openssl-3.0.5.tar.gz
# 进入解压后目录
cd /usr/local/openssl3/openssl-3.0.5

  使用共享库安装，检查zlib库是否存在

whereis zlib

  没有的话，安装：

yum install -y zlib

  安装openssl到 /usr/local/openssl 目录

# 进入安装目录：
cd /usr/local/openssl3/openssl-3.0.5
# 执行配置命令，prefix默认路径/usr/local：
./config --prefix=/usr/local/openssl

  编译安装：

make && make install

  执行可能很慢，耐心等待执行结束。
  执行到此，openssl还不能使用，libssl.so.3文件在/usr/local/openssl/lib64目录下面，需要配置到共享库中

# 换行添加/usr/local/openssl/lib64
vim /etc/ld.so.conf
# 加载生效
ldconfig

# 再次进入/usr/local/openssl/bin目录下执行命令已经成功了
[root@node0 bin]# ./openssl version
OpenSSL 3.0.5 5 Jul 2022 (Library: OpenSSL 3.0.5 5 Jul 2022)

2.5 编译安装python3.10.7

2.5.1 修改配置文件

  通过FTP或者wget下载得到Python-3.10.7.tgz软件包

# 解压
tar xf Python-3.10.7.tgz
cd Python-3.10.7

  在进行编译安装前，Python3.10和openssl3.0.5的版本配置文件跟以前有点区别，python3.10的版本OPENSSL不再是/usr/local/ssl 的默认路径，变成了/path/to/openssl/directory，而openssl3.0.5目录里面没有lib这个文件夹，变成了lib64,注意这个变化，在建立软链接的时候一定要写lib64不能写成lib.

  解决办法：

  进入解压后的Python3.10.7文件目录,打开Python-3.10.7/Modules/目录下的Setup文件

vim /Modules/Setup

  把下面5句代码的注释取消，还有两个地方的路径要修改。

• OPENSSL后面的路径改成你自己的openssl目录，我的是/urs/local/openssl，这里原本是OPENSSL=/path/to/openssl/directory。
• 二是蓝色框里面的要改成lib64，其它的不要动保存。我的openssl版本是3.0.5
  
    最后保存退出

2.5.2 编译安装Python3.10.7

cd Python-3.10.7
./configure --prefix=/usr/local/python3
make clean
make
make install

  建立软连接：

ln -s /usr/local/python3/bin/python3.10 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.10 /usr/bin/pip3

  测试是否能正常导入_ssl，不报错即正常

3. 配置Fastchat

  GitHub项目源地址：https://github.com/lm-sys/FastChat

  先进行依赖包安装

pip3 install fschat

  下载项目到本地，慢的话可以自己下载好通过FTP上传到服务器

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

  安装依赖包

# 如果你是严格按照上面的过程做的，请这样升级pip3
/usr/local/python3/bin/python3.10 -m pip install --upgrade pip

# 否则的话使用这种方式，不升级pip会报错
#pip3 install --upgrade pip  # enable PEP 660 support  
pip3 install -e .

4. 模型下载

  模型下载链接：

cd FastChat && mkdir vicuna

  下载后将victuna-13b和vicuna-7b两个模型放在FastChat/vicuna文件中

5. cli测试

  下面的命令对于Vicuna-13B需要约28GB的GPU内存，对于Vicuna-7B需要约14GB的GPU内存。根据自己的设备情况自行测试最佳的运行方式

# 启动vicuna-7b模型
python3 -m fastchat.serve.cli --model-path vicuna/vicuna-7b-v1.1
# 启动/vicuna-13b-v1.1 --load-8bit， 13B需要28G显存，无法直接使用，可以使用--load-8bit
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-13b-v1.1 --load-8bit

# 加载多块GPU
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-7b-v1.1 --num-gpus 2

# 这将仅在CPU上运行，不需要GPU。对于Vicuna-13B需要约60GB的CPU内存，对于Vicuna-7B需要约30GB的CPU内存。
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-7b-v1.1 --device cpu

6. 羊驼模型Web GUI测试

  要使用Web用户界面进行服务，需要三个主要组件：与用户进行交互的Web服务器，托管一个或多个模型的模型工作器，以及协调Web服务器和模型工作器的控制器。

  首先开启三个不同的终端

  1、启动控制器，该控制器负责管理分布式工作器。

python3 -m fastchat.serve.controller

  2、启动模型工作器，等待进程加载模型完成，并看到"Uvicorn running on …"的提示，模型工作器将向控制器注册自己。

# 如果没有GPU，要在后面添加 --device cpu，否则会报错
python3 -m fastchat.serve.model_worker --model-name 'vicuna-7b-v1.1' --model-path vicuna_data/vicuna-7b-v1.1

  3、为确保您的模型工作器与控制器正确连接，请使用以下命令发送测试消息，您将看到一个简短的输出。

python3 -m fastchat.serve.test_message --model-name vicuna-7b-v1.1

  4、启动Gradio Web服务器，这是用户将与之交互的用户界面。

python3 -m fastchat.serve.gradio_web_server

  5、在浏览器访问：localhost:7860，看到如下窗口，即可进行交互

二、WIndows操作系统下部署

1. 环境介绍

• 操作系统：win10
• I7，64G运行内存
• GPU 4080 16G
• Python3.10.7
• Pycharm 2021.3

2. 安装开发环境

2.1 安装Python3.10.7 、Pycharm破解版、Git

  傻瓜式安装，安装包看这里：

3. 安装FastChat

3.1 使用Git下载FastChat源码

  首先打开Git Bash

  进入项目的文件夹，我这里是E:\02_LargeModel，执行命令：

git clone https://github.com/lm-sys/FastChat.git

  等待执行完成

3.2 使用Pycharm配置项目

  配置python虚拟环境



  点击OK后，等待创建虚拟环境，然后再次点击OK

  安装依赖包

pip install fschat -i https://pypi.tuna.tsinghua.edu.cn/simple

  等待安装完成即可。

  进入FastChat文件夹，升级pip及安装依赖

cd FastChat
pip install --upgrade pip
pip install -e .

3.3 检查CUDA

  安装到这里，我们要先检查以下CUDA，可以新建一个test.py，打印一下设备情况 ：

  如果输出是CUDA，就可以跳过这一节，否则的话，请严格按照文档进行操作

3.3.1 查看显卡信息

  win+R -> 输入cmd 然后点击“运行” -> 输入nvidia-smi 检查是否有显卡信息

3.3.2 查看CUDA与Torch的对应关系

CUDA	Torch	TorchVision
cu75	0.1.7, 0.1.6, 0.2.0, 0.3.0, 0.1.11, 0.1.8, 0.1.9, 0.1.10, 0.1.12, 0.3.0	-
cu80	1.0.0, 0.4.0, 0.1.7, 0.4.1, 0.4.1, 0.1.6, 1.0.1, 0.2.0, 1.0.1, 0.3.0, 0.1.11, 0.1.8, 0.3.1, 0.1.9, 0.1.10, 0.1.12, 0.3.0	-
cu90	1.0.0, 0.4.1, 0.4.1, 1.0.1, 1.1.0, 1.0.1, 0.3.0, 0.3.1, 0.4.0, 0.3.0	0.3.0
cu91	0.3.1, 0.4.0	-
cu92	1.5.02, 0.4.1, 0.4.1, 1.5.12, 1.6.02, 1.3.02, 1.3.12, 1.7.02, 1.7.12, 1.2.02, 1.4.02	0.8.0, 0.8.22, 0.8.12, 0.7.02, 0.4.22, 0.4.12, 0.6.02, 0.6.12, 0.4.02, 0.5.02
cu100	1.0.0, 1.2.0, 1.1.0, 1.0.1, 1.3.02, 1.3.12, 1.0.1, 1.4.02	0.4.22, 0.4.12, 0.4.0, 0.3.0, 0.5.02
cu101	1.5.02, 1.6.02, 1.5.12, 1.3.0, 1.3.1, 1.7.02, 1.7.12, 1.8.12, 1.4.0, 1.8.02	0.8.0, 0.8.22, 0.8.12, 0.9.12, 0.7.02, 0.4.2, 0.9.02, 0.5.0, 0.4.1, 0.6.02, 0.6.12
cu102	1.12.0, 1.9.12, 1.10.0, 1.7.1, 1.9.02, 1.10.1, 1.12.1, 1.7.0, 1.10.2, 1.5.0, 1.6.0, 1.8.0, 1.5.1, 1.8.12, 1.11.0	0.11.1, 0.6.0, 0.9.1, 0.11.3, 0.9.12, 0.8.1, 0.6.1, 0.10.0 , 0.8.0, 0.9.0, 0.10.1, 0.7.0, 0.11.0, 0.8.2, 0.13.0, 0.10.0, 0.11.2, 0.13.1, 0.12.0
cu110	1.7.02, 1.7.12	0.8.0, 0.8.12, 0.8.22
cu111	1.9.12, 1.10.0, 1.9.02, 1.10.1, 1.10.2, 1.8.12, 1.8.02	0.11.3, 0.9.12, 0.11.1, 0.9.02, 0.10.1, 0.10.0, 0.11.2, 0.11.0
cu113	1.12.0, 1.10.0, 1.10.1, 1.12.1, 1.10.2, 1.11.0	0.11.1, 0.13.0, 0.11.0, 0.13.1, 0.11.2, 0.11.3, 0.12.0
cu115	1.11.0	0.12.0
cu116	1.12.0, 1.12.1	0.13.0, 0.13.1

3.3.3 Torch与Torchvision对应关系

Torch	TorchVision	Python
main / nightly	main / nightly	>=3.8, <=3.10
2.0.0	0.15.1	>=3.8, <=3.10
1.13.0	0.14.0	>=3.7.2, <=3.10
1.12.0	0.13.0	>=3.7, <=3.10
1.11.0	0.12.3	>=3.7, <=3.10
1.10.2	0.11.3	>=3.6, <=3.9
1.10.1	0.11.2	>=3.6, <=3.9
1.10.0	0.11.1	>=3.6, <=3.9
1.9.1	0.10.1	>=3.6, <=3.9
1.9.0	0.10.0	>=3.6, <=3.9
1.8.2	0.9.2	>=3.6, <=3.9
1.8.1	0.9.1	>=3.6, <=3.9
1.8.0	0.9.0	>=3.6, <=3.9
1.7.1	0.8.2	>=3.6, <=3.9
1.7.0	0.8.1	>=3.6, <=3.8
1.7.0	0.8.0	>=3.6, <=3.8
1.6.0	0.7.0	>=3.6, <=3.8
1.5.1	0.6.1	>=3.5, <=3.8
1.5.0	0.6.0	>=3.5, <=3.8
1.4.0	0.5.0	==2.7, >=3.5, <=3.8
1.3.1	0.4.2	==2.7, >=3.5, <=3.7
1.3.0	0.4.1	==2.7, >=3.5, <=3.7
1.2.0	0.4.0	==2.7, >=3.5, <=3.7
1.1.0	0.3.0	==2.7, >=3.5, <=3.7
<=1.0.1	0.2.2	==2.7, >=3.5, <=3.7

3.3.4 Torch与Torchaudio对应关系

Torch	TorchAudio	Python
main / nightly	main / nightly	>=3.8, <=3.10
2.0.1	2.0.2	>=3.8, <=3.11
2.0.0	2.0.1	>=3.8, <=3.11
1.13.1	0.13.1	>=3.7, <=3.10
1.13.0	0.13.0	>=3.7, <=3.10
1.12.0	0.12.0	>=3.7, <=3.10
1.11.0	0.11.0	>=3.7, <=3.9
1.10.0	0.10.0	>=3.6, <=3.9
1.9.1	0.9.1	>=3.6, <=3.9
1.9.0	0.9.0	>=3.6, <=3.9
1.8.2	0.8.2	>=3.6, <=3.9
1.8.1	0.8.1	>=3.6, <=3.9
1.8.0	0.8.0	>=3.6, <=3.9
1.7.1	0.7.2	>=3.6, <=3.9
1.7.0	0.7.0	>=3.6, <=3.8
1.6.0	0.6.0	>=3.6, <=3.8
1.5.0	0.5.0	>=3.5, <=3.8
1.4.0	0.4.0	==2.7, >=3.5, <=3.8

3.3.5 下载对应版本的whl文件

  回顾一下我的环境，CUDA12.0，Python3.10.7，所以我选择的版本是：

下载链接如下：



  如果你跟我的CUDA版本不同，那么请根据自己的版本，选择对应的torch、torchaudio、torchvision版本，如果跟我的相同，可以直接从我提供的软件包中进行安装

3.3.6 安装GPU版Torch

  在FastChat新建一个torch_whl文件夹，把下载好的三个.whl文件存放进去，如图：

3.3.7 测试GPU

  完成上述安装后，再次执行test.py文件，如果输出是cuda，则安装成功，如还是cpu，请自行检查

4. 加载羊驼模型

  在FastChat文件夹下新建一个vicuna文件夹，将下载的7B和13B模型存放在这里

   整体目录结构如下：

5. cli测试

  下面的命令对于Vicuna-13B需要约28GB的GPU内存，对于Vicuna-7B需要约14GB的GPU内存。根据自己的设备情况自行测试最佳的运行方式

# 启动vicuna-7b模型
python -m fastchat.serve.cli --model-path vicuna/vicuna-7b
# 启动/vicuna-13b-v1.1 --load-8bit， 13B需要28G显存，无法直接使用，可以使用--load-8bit
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-13b-v1.1 --load-8bit

# 加载多块GPU
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-7b-v1.1 --num-gpus 2

# 这将仅在CPU上运行，不需要GPU。对于Vicuna-13B需要约60GB的CPU内存，对于Vicuna-7B需要约30GB的CPU内存。
python3 -m fastchat.serve.cli --model-path vicuna_data/vicuna-7b-v1.1 --device cpu

  我以运行Vicuna-7B举例，其他的可以自己根据配置情况进行尝试

  在这里可以进行像ChatGPT一样的问答了：

6. Web GUI测试

  要使用Web用户界面进行服务，需要三个主要组件：与用户进行交互的Web服务器，托管一个或多个模型的模型工作器，以及协调Web服务器和模型工作器的控制器。

  首先开启三个不同的终端

  1、启动控制器，该控制器负责管理分布式工作器。

python -m fastchat.serve.controller

  2、启动模型工作器，等待进程加载模型完成，并看到"Uvicorn running on …"的提示，模型工作器将向控制器注册自己。

# 如果没有GPU，要在后面添加 --device cpu，否则会报错
python -m fastchat.serve.model_worker --model-path vicuna/vicuna-7b

  3、为确保您的模型工作器与控制器正确连接，请使用以下命令发送测试消息，您将看到一个简短的输出。

python -m fastchat.serve.test_message --model-name vicuna-7b

  4、启动Gradio Web服务器，这是用户将与之交互的用户界面。

python -m fastchat.serve.gradio_web_server

  5、在浏览器访问：localhost:7860，看到如下窗口，即可进行交互，注意在windows服务器下，localhost:7860无法访问，要将localhost替换成本机的ip，

  查看本机IP：

  输入 ‘‘本机IP地址:7860’’ 打开网址，即可进行会话

  感谢您阅读这篇文章！如果您觉得有所收获，别忘了点赞、收藏并关注我，这是我持续创作的动力。您有任何问题或建议，都可以在评论区留言，我会尽力回答并接受您的反馈。如果您希望了解某个特定主题，也欢迎告诉我，我会乐于创作与之相关的文章。谢谢您的支持，期待与您共同成长！

  期待与您在未来的学习中共同成长。