OpenAssistant LLaMa 30B SFT 6 模型安装与使用教程

OpenAssistant LLaMa 30B SFT 6 模型安装与使用教程

oasst-sft-6-llama-30b-xor 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/oasst-sft-6-llama-30b-xor

引言

OpenAssistant LLaMa 30B SFT 6 是基于 Meta AI 的 LLaMA 模型进行训练得到的，它是一个大型语言模型，拥有 30B 个参数，能够进行自然语言处理任务，例如文本生成、问答、文本摘要等。本文将介绍如何安装和使用 OpenAssistant LLaMa 30B SFT 6 模型，并展示一些简单的示例。

安装前准备

系统和硬件要求

• 操作系统：Linux (推荐 Ubuntu)
• 硬件：GPU (推荐 NVIDIA)
• Python 版本：3.10

必备软件和依赖项

• Python 3.10
• pip
• Git
• Transformers 库
• PyTorch
• sentencepiece
• protobuf

安装步骤

1. 创建 Python 虚拟环境

   首先，需要创建一个 Python 3.10 的虚拟环境，并激活它：

   python3.10 -m venv xor_venv
   source xor_venv/bin/activate
   

2. 克隆 Transformers 库

   接下来，克隆 Transformers 库并切换到测试版本：

   git clone https://github.com/huggingface/transformers.git
   cd transformers
   git checkout d04ec99bec8a0b432fc03ed60cea9a1a20ebaf3c
   pip install .
   

3. 安装依赖项

   然后，安装以下依赖项的指定版本：

   pip install torch==1.13.1 accelerate==0.18.0 sentencepiece==0.1.98 protobuf==3.20.1
   

4. 获取 LLaMA 模型权重

   由于 Meta AI 对 LLaMA 模型的许可证限制，无法直接提供基于 LLaMA 的模型。因此，需要先获取 LLaMA 模型的原始权重，并将其添加到 llama 子目录中。如果无法获取 LLaMA 模型的原始权重，可以使用以下模型作为基础进行 XOR 转换：

   https://huggingface.co/elinas/llama-30b-hf-transformers-4.29
   

5. 验证 LLaMA 模型权重

   确保 LLaMA 30B 检查点的 md5sum 与以下值匹配：

   f856e9d99c30855d6ead4d00cc3a5573  consolidated.00.pth
   d9dbfbea61309dc1e087f5081e98331a  consolidated.01.pth
   2b2bed47912ceb828c0a37aac4b99073  consolidated.02.pth
   ea0405cdb5bc638fee12de614f729ebc  consolidated.03.pth
   4babdbd05b8923226a9e9622492054b6  params.json
   

6. 转换 LLaMA 模型权重

   在 Transformers 库的根目录下，运行以下命令进行 LLaMA 模型权重的转换：

   python src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir <input_path_llama_base>  --output_dir <output_path_llama30b_hf> --model_size 30B
   

7. 验证转换后的权重

   在转换目标的目录下，运行以下命令进行 md5sum 校验：

   find . -type f -exec md5sum "{}" +
   

   确保转换后的权重的 md5sum 与以下值匹配：

   462a2d07f65776f27c0facfa2affb9f9  ./pytorch_model-00007-of-00007.bin
   e1dc8c48a65279fb1fbccff14562e6a3  ./pytorch_model-00003-of-00007.bin
   9cffb1aeba11b16da84b56abb773d099  ./pytorch_model-00001-of-00007.bin
   aee09e21813368c49baaece120125ae3  ./generation_config.json
   92754d6c6f291819ffc3dfcaf470f541  ./pytorch_model-00005-of-00007.bin
   3eddc6fc02c0172d38727e
   

oasst-sft-6-llama-30b-xor 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/oasst-sft-6-llama-30b-xor