【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移

最新推荐文章于 2025-05-09 14:04:52 发布
原创 最新推荐文章于 2025-05-09 14:04:52 发布
· 4k 阅读 · 6 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #pytorch #人工智能

源码链接

https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B

LLaMA-7B/13B for PyTorch

概述

简述

LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta
AI。LLaMA按照参数量的大小分为四个型号：LLaMA-7B、LLaMA-13B、LLaMA-30B与LLaMA-65B。LLaMA
模型的效果极好，LLaMA-13B在大多数基准测试中的表现都优于GPT-3（175B
），且无需使用专门的数据集，只使用公开可用的数据集即可至训练至最优。本工程基于FastChat仓，主要聚焦于LLaMA-7B/13B模型。

  • 参考实现：

    url=https://github.com/lm-sys/FastChat.git
commit_id=76f0424d1add61aadc8e5bdeed5ebe540f266ba3

  • 适配昇腾 AI 处理器的实现：

    url=https://gitee.com/ascend/ModelZoo-PyTorch.git
code_path=PyTorch/built-in/foundation

准备训练环境

准备环境

默认配置需要每张卡有60G以上空闲内存。

  • 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。

    表 1 版本支持表

    Torch_Version三方库依赖版本
    PyTorch 1.11deepspeed 0.6.0

  • 环境准备指导

    请参考《Pytorch框架训练环境准备》。

  • 安装依赖

    在模型源码包根目录下执行以下命令，安装依赖。

    pip3 install --upgrade pip
pip3 install einops sympy regex decorator scipy setuptools scm prompt toolkit

  • 编译安装fschat

    在模型源码包根目录下执行命令，安装fachat库。

    pip3 install -e.

  • 安装deepspeed及对应deepspeed_npu插件。

    在模型源码包根目录下执行以下命令，安装deepspeed。

    pip3 install deepspeed==0.6.0 
git clone https://gitee.com/ascend/DeepSpeed.git
cd DeepSpeed
python setup.py develop

    使用whereis命令查看deepspeed安装路径/path/to/deepspeed/bin/deepspeed
    ，并将deepspeed_npu包导入。

    打开"/path/to/deepspeed/bin/deepspeed"文件。

    vim /path/to/deepspeed/bin/deepspeed

    按“i”进入编辑模式，在“/path/to/deepspeed/bin/deepspeed”中增加以下内容。

    import deepspeed_npu

    按“ESC”键，输入:wq!，按“Enter”保存并退出编辑。

  • 替换transformers库中相关文件

    将源码包根目录下transformers_modify文件夹中的各个文件分别替换到transformers
    安装目录下的对应位置（基于transformers 4.28.1版本）：

    training_args.py -> transformers/training_args.pu
trainer.py -> transformers/trainer.py
versions.py -> utils/versions.py
modeling_llama.py -> transformers/models/llama/modeling_llama.py

  • 安装pdsh（多机训练需要）

    deepspeed的多机训练需要安装pdsh，下载链接：https://github.com/chaos/pdsh/releases/download/pdsh-2.34/pdsh-2.34.tar.gz.

    安装方法如下：

    chmod 777 configure
./configure --with-ssh --build=arm-linux
make
make install

准备数据集

  1. 获取数据集

    该任务以基于gpt3问答的数据集进行finetuning训练。

    以alpaca-data-conversation数据集为例，数据集结构参考如下所示。

    [
   {
     "id": "1",
     "conversations": [
       {
         "from": "human",
         "value": "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nGive three tips for staying healthy.\n\n### Response:"
       },
       {
         "from": "gpt",
         "value": "1.Eat a balanced diet and make sure to include plenty of fruits and vegetables. \n2. Exercise regularly to keep your body active and strong. \n3. Get enough sleep and maintain a consistent sleep schedule."
       }
     ]
   },
   {
     "id": "2",
     "conversations": [
       {
         "from": "human",
         "value": "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nWhat are the three primary colors?\n\n### Response:"
       },
       {
         "from": "gpt",
         "value": "The three primary colors are red, blue, and yellow."
       }
     ]
   },
   ...

    说明：
    该数据集的训练过程脚本只作为一种参考示例。

  2. 数据预处理

    基于上述格式的数据集无需预处理即可训练，若为其他对话数据集，则需修改为上述格式。

获取预训练模型

参考链接：原始仓库上的README.md

Vicuna预训练参数介绍

Vicuna预训练参数以增量权重的形式发布，以符合LLaMA模型的license。用户可以通过将该增量权重叠加到
LLaMA原始权重上实现来使用，主要分为如下两步：

  1. 通过该链接获取huggingface形式的llama原始模型参数；
  2. 使用下面步骤获取Vicuna增量权重，它会自动从huggingface上下载增量权重；
Vicuna-7B

在源码包根目录下执行下列命令获得7B预训练模型（下载7B预训练模型大概需要占用30GB的CPU RAM空间）。

python3 -m fastchat.model.apply_delta \
--base-model-path /path/to/llama-7b \
--target-model-path /output/path/to/vicuna-7b \
--delta-path lmsys/vicuna-7b-delta-v1.1
Vicuna-13B

在源码包根目录下执行下列命令获得13B预训练模型（下载7B预训练模型大概需要占用60GB的CPU RAM空间）。

python3 -m fastchat.model.apply_delta \
--base-model-path /path/to/llama-13b \
--target-model-path /output/path/to/vicuna-13b \
--delta-path lmsys/vicuna-13b-delta-v1.1

下载完毕后，可以在源码包根目录下找到对应的预训练参数文件夹。

开始训练

训练模型

  1. 进入解压后的源码包根目录。

    cd /${模型文件夹名称}

  2. 运行训练脚本。

    该模型支持单机8卡训练和双机16卡训练。

    • 将数据集置于源码包根目录下playground/data文件夹内（若路径不存在请用户自行创建）。

    • 单机八卡训练（LLaMA-7B）

      bash ./7B_finetune.sh

    • 双机16卡训练（LLaMA-13B）

      bash ./13B_finetune.sh

    模型训练脚本参数说明如下。

     --model_name_or_path                       // 预训练参数路径 
 --data_path                                // 数据集路径 
 --fp16                                     // 参数使用fp16保存
 --num_train_epochs                         // 训练epoch数
 --per_device_train_batch_size              // 每张卡上的训练batch size
 --per_device_eval_batch_size               // 每张卡上的评估batch size
 --gradient_accumulation_steps              // 梯度累积的步数
 --evaluation_strategy                      // 评估策略
 --save_strategy                            // ckpt保存策略
 --save_steps                               // ckpt保存间隔步数
 --save_total_limit                         // ckpt最大保存数量
 --learning_rate                            // 学习率
 --weight_decay                             // weight decay策略 
 --warmup_ratio                             // warmup步数的比例
 --lr_scheduler_type                        // 学习率衰减方式
 --logging_steps                            // 训练日志打印间隔步数
 --tf32 False                               // 使用tf32训练，npu暂不支持  
 --model_max_length                         // 模型训练的sequence length
 --gradient_checkpointing                   // 是否开启重计算 
 --deepspeed                                // deepspeed配置脚本路径

    deepspeed参数说明如下。

     --fp16                                     // 混合精度训练相关配置 
 --optimizer                                // 优化器相关配置
 --zero_optimization                        // zero优化器相关配置
 --gradient_accumulation_steps              // 梯度累积步数
 --gradient_clipping                        // 梯度裁剪
 --train_batch_size                         // 训练batch size
 --train_micro_batch_size_per_gpu           // 训练micro batch size

    训练完成后，权重文件保存在output_dir下，并输出模型训练精度和性能信息。

训练结果展示

表 2 训练结果展示表

NAMEAcc@1FPS(tokens/s/p)EpochsZero_Type
7B-竞品A-24523zero1
7B-NPU-29903zero1
13B-竞品A-13863zero2
13B-NPU-14983zero2

模型推理

支持模型

  • Vicuna，LLaMA

执行推理

执行下列命令以完成模型推理（基于单NPU，推理13B模型大约需要28GB显存，推理7B模型大约需要14G显存）。

python3 -m fastchat.serve.cli --model-path path/to/FastChat/7B-vicuna --num-gpus 1
python3 -m fastchat.serve.cli --model-path path/to/FastChat/13B-vicuna --num-gpus 1

版本说明

变更

2023.07.05 首次发布。

FAQ

无。

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】
u013250861的博客
08-14 536
【代码】LLM-项目详解（一）：Chinese-LLaMA-Alpaca【modeling_llama.py文件】
大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）
强化学习曾小健
04-18 3327
本文的所有信息都是截止2024年4月最新的一些信息，如有不准确的地方欢迎讨论。总的来说，昇腾最近一年多经过海量大模型需求的洗礼，正在快速变得成熟和完善。希望国产AI芯片、AI软硬件生态越来越好。
斯坦福用几百块钱训练的alpaca，体验一下基于llama的7b和13b模型，据说比gpt3.0还牛，结果怎样？？你能信？
独领fengsao的猫
03-30 6686
虽然我的服务器配置相当可以了，但是速度还是不快哦！毕竟是斯坦福大学训练的模型，对中文的确支持的不好。1、自己买个GPU服务器（如果不训练，可以随便买个高内存的即可），有些网站很便宜，小时起租！3、上面两个模型搞定跑起来之后，是否能训练自己的模型呢？，不知道哪里下载的我可以放出网盘地址。1、中文的大语言模型已经有人训练出来了。2、中文的alpaca模型也训练出来了。5、运行起来：./chat -m。好久没写代码了，上头了，强撸了！4、编译：make chat。，记得放到同一个目录哦。
7B？13B？65B？大模型参数量如何计算？
最新发布
weixin_51702416的博客
05-09 634
我们以 LLaMA-7B 为例，这个大模型参数量约为 70 亿，假设每个参数都是一个 fp32，即 4 个字节，总字节就是 280 亿字节，则 280 亿字节/1024/1024 = 26.7GB，当然这是原始的理论值，我们再往下看。具体增加多少其实不是很重要了，因为在模型权重文件里面，参数量 98% 的大头是权重数据，其他数据占比其实很少，我们从开源的 LLaMA-7B 的实际的存储结果来看，是符合上面的计算的。这个参数量到底是怎么算出来的？这里的 B 是 billion 的缩写，指代模型的参数规模。
【文末附gpt升级秘笈】关于论文“7B？13B？175B？解读大模型的参数的论文
蒲松龄
06-03 1458
近年来，随着计算资源的不断提升和算法的不断优化，大模型（参数规模达到数十亿甚至数百亿）的研究和应用逐渐成为了热点。其中，7B、13B、175B等参数规模的大模型，以其强大的表达能力和广泛的应用前景，吸引了众多研究者的关注。本文旨在探讨这些大模型的参数规模、性能表现、优化方法以及应用前景，以期为深度学习领域的研究和应用提供参考和借鉴。参数，作为深度学习模型中的核心组成部分，直接决定了模型的复杂度和性能。然而，随着模型参数规模的不断增大，如何有效地训练和优化这些大模型，成为了深度学习领域面临的重要挑战。
LLM__llama-7B模型试验
RL小站
04-19 4677
llama模型已经开源很久了，所以拿做小的模型做了个简单尝试。
LLaMA-7B微调记录
zhishi0000的博客
10-21 1041
5.梯度更新：在微调过程中，计算损失函数关于映射矩阵A和逆映射矩阵B的梯度，并使⽤优化算法，如Adam、SGD对A和B进⾏更新，注意，在更新过程中，原始参数矩阵W保持不变，即训练的时候固定原始LLM的参数，只训练A和B；Step1：通过模型生成新的指令，根据人工设计的175个任务，每个任务都有对应的（指令，输入，输出）或（指令，输出）；使用模型生成新的指令；1.选择目标层：首先，在预训练神经网络模型中选择要应用LoRA的目标层，这些层通常是与特定任务相关的，比如自注意力机制中的Q和K矩阵；
大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
强化学习曾小健
07-17 2096
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 +模型前反向时间 + 优化器时间 + 模型后处理时间+ 通信时间 + 调度时间数据加载时间。
LLaMA：7B参数量的Baby版ChatGPT窥探
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-09 1万+
本文通过造一些prompt初步窥探了7B版本的LLaMA，所生成的结果比较依赖于prompt的质量，有资源可以尝试65B参数量的版本。
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
热门推荐
weixin_43508499的博客
06-27 1万+
直接打开链接 https://raw.githubusercontent.com/tloen/alpaca-lora/main/alpaca_data_cleaned_archive.json，然后全选页面复制，再保存到新建的文件里。这里我们要基于LLAMA-7B做指令微调，所以要先下载模型权重，并作一系列转换。可以看到，经过指令微调之后，模型已经可以正常回答我们的问题了。（当然，这里可能会遇到网络问题，安装不了lightning）ps：其他细节可以参考工程的README，写的很清楚~
llama-7B、vicuna-7b-delta-v1.1和vicuna-7b-v1.3——使用体验
入门记
07-05 2455
动手体验了下Vicuna-7b，翻译过来是小羊驼」（骆马），拥有70亿参数，据作者实验能达到GPT-4的90%性能。python3 -m cli是python3执行cli.py文件，具体内容，要看cli.py写了什么。Chatgpt的出现给NLP领域带来了让人振奋的消息，可以很逼真的模拟人的对话，回答人们提出的问题，不过Chatgpt参数量，规模，训练代价都很昂贵。提问方式很重要：输入china，回答的只能说是相关，文字就少很多。幸运的是，出现了开源的一些相对小的模型，可以在本地或者云端部署体验，
探索机器学习新边界：PyTorch-LLaMA
gitblog_00040的博客
06-05 411
探索机器学习新边界：PyTorch-LLaMA pytorch-llama LLaMA 2 implemented from scratch in PyTorch 项目地址: https://gitcode.com/gh_mirrors/py/pytorch-ll...
Transformers源码解析：transformers/src/transformers/models/llama/modeling_llama.py RotaryEmbedding
强化学习曾小健
09-25 832
总体来说，这是一个用于生成旋转位置编码的模块。后面几行代码是预先计算并缓存cosine和sine值，以加速前向计算。的PyTorch模型，用于旋转位置编码。: 定义一个内部方法用于设置cosine和sine的缓存。，并确保它不会在保存模型时被视为模型的可训练参数。: 如果输入的序列长度大于缓存的长度，则更新缓存。: 返回对应长度的cosine和sine缓存值。: 计算cosine值并将其缓存。: 计算sine值并将其缓存。: 存储最大的位置编码数。: 存储传入的序列长度。: 定义前向传播函数。
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版）
段智华的博客
05-07 1395
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版） 运行结果为： ✨下载 Llama3 模型通过 OpenXLab 下载 Llama-3-8B-Instruct 这个模型 或者软链接 InternStudio 中的模型 🛠️安装 OpenCompass 运行结果为：📂 数据准备 运行结果为： 数据集共85个目录，1062个文件。 查询Llama 的配置文件路径 🏗️命令行快速评测 以C-Eval_gen为例： 命令解析： 查询gpu情况，设置export CU
基于LLAMA-7B的lora中文指令微调
weixin_43508499的博客
07-03 4366
由于原始llama-7b指令的vocab_size为32000，而下载的中文llama-7b的词典大小为49953，需要对其进行修改。转换完毕后，在刚才设置的输出路径，会得到lit-llama.pth文件（26G），在上一级目录有tokenizer.model文件。切换到lit-llama的工程，修改scripts/convert_hf_checkpoint.py，修改路径，2）pretrained_path：转换之后的中文lit-llama.pth路径。4）out_dir：保存lora权重文件的路径。
[大模型] 搭建llama主流大模型训练环境
chenyang2203的博客
05-10 4511
搭建llama大模型GPU训练环境，用于llama及其衍生模型的训练与微调
使用PyTorch从零构建Llama 3
deephub
09-04 6143
我们已经成功地从零开始构建了自己的Llama 3模型。我们不仅实现了模型的架构，还成功地进行了训练，并能够执行推理以生成新的文本。值得注意的是，我们在相对有限的计算资源（Google Colab Notebook提供的免费GPU和RAM）下，在较短的时间内完成了这个过程。本文中的代码和方法主要用于教育和研究目的。在实际应用中，可能需要进行更多的优化和调整，以达到生产级别的性能和效果。作者：Milan Tamang。
Prepare Vicuna-1.1-7B/13B checkpoint: please download Vicuna-1.1-7B and Vicuna-1.1-13B
03-09
<think>好的，我现在需要回答用户关于如何下载Vicuna-1.1-7B和Vicuna-1.1-13B模型检查点的问题。首先，我得回顾一下用户提供的引用内容，看看有没有相关的信息。 引用[2]提到，Llama-7b-hf和vicuna-7b-delta-v0合并成vicuna-7b-v0，并提到了Fastchat部署vicuna-7b-v1.3的博客。引用[3]则建议从源码安装如果有进一步定制需求，并提到下载Vicuna模型的步骤。用户现在需要的是Vicuna-1.1版本的检查点，尤其是7B和13B的模型。 首先，Vicuna模型通常需要基于原始的LLaMA权重进行合并，因为直接分发检查点可能涉及许可问题。所以用户可能需要先获得LLaMA的原始模型，然后应用Vicuna的delta权重。例如，Hugging Face上可能有delta文件，用户需要合并它们。不过，用户可能不清楚具体步骤，需要详细说明。 接下来，我需要确认Vicuna-1.1的下载方式是否有变化。根据FastChat的文档，可能提供了脚本来自动完成这个过程。例如，使用他们的工具下载delta并合并。需要检查是否有官方指引，或者参考博客中的方法。比如，用户提到的引用[3]中的步骤可能涉及克隆仓库、安装依赖，然后运行下载脚本。 另外，用户可能遇到的常见问题包括：如何获取LLaMA原始权重、合并时出现的问题、模型版本之间的差异等。需要提醒用户注意模型版本对应，比如Vicuna-1.1对应的LLaMA版本是否正确，以及合并后的验证步骤，比如使用FastChat的工具测试模型是否正常工作。 最后，生成相关问题需要考虑用户可能的后续需求，比如如何部署模型、优化性能，或者与其他模型比较等。确保问题覆盖下载后的使用步骤和潜在问题。</think>### 如何下载Vicuna-1.1-7B和Vicuna-1.1-13B模型检查点？ 1. **确认模型来源与依赖** Vicuna是基于Meta的LLaMA模型通过增量训练（delta weights）生成的模型。由于LLaMA的原始权重需从Meta申请授权，Vicuna仅提供增量权重文件，需与LLaMA基础模型合并后才能使用[^3]。 2. **下载Vicuna增量权重** - 访问Hugging Face上的官方仓库（如[lmsys/vicuna-7b-delta-v1.1](https://huggingface.co/lmsys/vicuna-7b-delta-v1.1)和[lmsys/vicuna-13b-delta-v1.1](https://huggingface.co/lmsys/vicuna-13b-delta-v1.1)）。 - 使用`git clone`或下载工具获取增量权重文件： ```bash git clone https://huggingface.co/lmsys/vicuna-7b-delta-v1.1 git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1 ``` 3. **合并模型权重** 使用FastChat提供的工具合并LLaMA基础模型与增量权重： ```bash python -m fastchat.model.apply_delta \ --base /path/to/llama-7b \ --target /output/path/vicuna-7b-v1.1 \ --delta /path/to/vicuna-7b-delta-v1.1 ``` 替换路径为实际LLaMA模型和增量权重路径[^2][^3]。 4. **验证模型可用性** 使用FastChat测试生成效果： ```python from fastchat.model import load_model model, tokenizer = load_model("vicuna-7b-v1.1") response = model.generate("Hello!") print(response) ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值