开源GPT-4小羊驼(Vicuna)快速上手指南

摆摊的豆丁

已于 2024-10-29 15:12:55 修改

阅读量8.3k

点赞数 19

文章标签： python ubuntu 人工智能

于 2023-04-14 01:36:38 首次发布

本文链接：https://blog.csdn.net/weixin_34382392/article/details/130143655

版权

Vicuna是一个开源项目，实现了GPT约90%的功能，由UC伯克利等机构学者联合推出。用户可以在个人设备如Mac上运行此模型，包括70亿和130亿参数的版本。文章提供了模型下载、转换和运行的详细步骤，以及对硬件配置的要求。

摘要由CSDN通过智能技术生成

小羊驼（Vicuna)是什么

Vicuna: 一个开源的GPT，宣称实现了GPT-4 90%的功能。
UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。
并且和其他以往不同的是你可以在自己的设备上跑起来！比如Mac，再比如你的主力机！

官网在这：https://vicuna.lmsys.org
体验点这个（如果打不开就用魔法）：https://chat.lmsys.org
在这里插入图片描述

一.环境准备

ubuntu 20.04 （自带python3，且版本满足要求）
硬盘大约200G左右（100G也不是不能用，最好是200G，50G肯定是不行）
内存（计划用vicuna-7b的30G，vicuna-13b的60G，选哪个大家自己按需，满分100的话7b大概是40分，13b的话大概70分）
显卡（越贵越好，风浪越贵鱼越大）
以我自己的环境为例:
1.E5-2697-V2，64G内存，没有用显卡，能跑但是速度十分难受。
2.Macbook Pro M1 pro版本16+512，7b的能跑，效果还行。

二.开始操作

1.LLaMa模型下载与转换

1.1 模型下载
磁力链接：magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA
大家自行按需下载
在这里插入图片描述
以7b为例下载之后的模型长这样

在这里插入图片描述
这里我下载的路径是/home/douding/LLaMA
1.2 模型转换

$ git clone https://github.com/huggingface/transformers.git
$ cd transformers
7B参考下面的
$ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /home/douding/LLaMA --model_size 7B --output_dir ./output/llama-7b
 13B看这个
 $ python3 src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /home/douding/LLaMA --model_size 13B --output_dir ./output/llama-13b

转换完成后会在/home/douding/transformers/output中看到你的模型
在这里插入图片描述

2.小羊驼模型合并与生成

$ pip3 install fschat
$ pip3 install git+https://github.com/huggingface/transformers

7b参考如下
$ git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0
 注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-7b-delta-v0中

在这里插入图片描述

$ python3 -m fastchat.model.apply_delta \
    --base /home/douding/transformers/output/llama-7b \
    --target /home/douding/vicuna-7b \
    --delta /home/douding/lmsys/vicuna-7b-delta-v0

 13b参考如下
 $git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0 /home/douding/lmsys/vicuna-13b-delta-v0

注意这里需要手动下载大文件到/home/douding/lmsys/vicuna-13b-delta-v0中
在这里插入图片描述

 $ python3 -m fastchat.model.apply_delta \
    --base /home/douding/transformers/output/llama-13b \
    --target /home/douding/vicuna-13b \
    --delta /home/douding/lmsys/vicuna-13b-delta-v0

成功后会对应的目录/home/douding/vicuna-7b和/home/douding/vicuna-13b中看到对应的小羊驼模型
在这里插入图片描述

我这里提供已经做好了的小羊驼模型（含7b和13b)：
分享的文件：小羊驼
链接：https://pan.baidu.com/s/15HAy7uVtewK97a5Hj-vFMg?pwd=6qJd
提取码：6qJd

3.运行

CPU纯享版

python3 -m fastchat.serve.cli --model-path /path/to/vicuna/weights --device cpu

GPU畅爽版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b

Mac勉强享受版

python3 -m fastchat.serve.cli --model-path /home/douding/vicuna-7b --device mps --load-8bit

贴一张运行成功的截图，虽然满慢，但……充钱就可以变强！

在这里插入图片描述