Vicuna 小羊驼（部署 + 运行）

-陈小鱼

已于 2023-07-16 16:33:26 修改

阅读量1.1k

点赞数 2

文章标签：人工智能深度学习 python

于 2023-06-09 10:33:22 首次发布

本文链接：https://blog.csdn.net/m0_37975556/article/details/131120870

版权

6、合并 LLaMA 生成 Vicuna 模型

小羊驼需要运存或显存的支撑，如果你的配置很低，没有足够的运存或显存，建议租用服务器来操作。

运存和显存的要求，具体可以查看：README.md

1、解决 Git 下载大文件

Git LFS 是 Github 开发的一个 Git 的扩展，用于实现 Git 对大文件的支持

2、获取 LLaMA 权重文件

1）通过磁力链接手动下载并上传服务器（本文章所使用）

磁力链接：magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA

备注：仅下载 7B / 13B 即可！！！

2）通过指令安装，该指令在中断后支持续传（测验可下载，未测验下完整）

# pip install pyllama -U
# python -m llama.download --model_size 7B
# python -m llama.download --model_size 13B

3）通过 Git 直接安装（未测验）

# git clone https://huggingface.co/huggyllama/llama-7b
# git clone https://huggingface.co/huggyllama/llama-13b

3、获取 Delta 权重文件

1）通过访问地址，手动下载并上传服务器（本文章所使用）

https://huggingface.co/lmsys/vicuna-7b-delta-v1.1/tree/main
https://huggingface.co/lmsys/vicuna-13b-delta-v1.1/tree/main

2）通过 Git 直接安装（未测验）

# git clone https://huggingface.co/lmsys/vicuna-7b-delta-v1.1
# git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1

4、安装所需环境

1）是否使用虚拟环境：

===>> 使用 [避免和本机原始环境冲突]
=> 查看虚拟环境列表及路径
# conda env list
=> 创建虚拟环境（vicuna）
# conda create -n vicuna python==3.9
=> 激活虚拟环境
# conda activate vicuna 
=> 退出虚拟环境
# conda deactivate
=> 删除虚拟环境
# conda remove -n vicuna --all

===>> 不使用
=> 查询 python 版本
# python --version
=> 需确保 python 版本 >= 3.9，本处不对此处做出详细说明，请自行百度操作

2）创建文件目录

# cd /vms/app
# mkdir vicuna
# cd vicuna

3）安装 FastChat

方式一：
# pip install fschat

方式二：[会自动安装对应版本的transformers]
# git clone https://github.com/lm-sys/FastChat
# cd FastChat
# git tag
# git checkout v0.2.3
# pip install e .
# cd ../

4）安装 protobuf

# pip install protobuf==3.20.0

5）安装 transformers [ 若 FastChat 使用方式二安装的，可忽略 ]

方式一：
# pip install transformers

方式二：
# git clone https://github.com/huggingface/transformers.git
# cd transformers
# python setup.py install
# cd ../

5、转换 LLaMA 模型

转换需要用到 convert_llama_weights_to_hf.py 脚本

如果你并未操作 git clone https://github.com/huggingface/transformers.git 来安装 transformers，则可以使用下列方式寻找到需要的脚本

# find / -name convert_llama_weights_to_hf.py

如果你使用了 conda 虚拟环境，则要注意路径的位置，可能会有多个 convert_llama_weights_to_hf.py 脚本出现，尽可能使用自己环境下的脚本!!!

1）7B（本文章所使用）

# python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir LLaMA/ --model_size 7B --output_dir ./llama-7b

2）13B

# python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir LLaMA/ --model_size 13B --output_dir ./llama-13b

--input_dir *	LLaMA权重文件的路径
--model_size *	7B 或 13B
--output_dir *	转换成功后的保存路径