快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调

已于 2024-05-31 10:59:35 修改
阅读量786 收藏 17
点赞数 23
文章标签： 语言模型 llama 人工智能 深度学习 自然语言处理 机器学习 docker
于 2024-05-27 14:25:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85280106/article/details/139237241
版权
目录
  • 1. 选用工程：lit-llama
  • 2. 下载工程
  • 3. 安装环境
  • 4. 下载LLAMA-7B模型
  • 5. 做模型转换
  • 6. 初步测试
  • 7. 为什么要进行指令微调？
  • 8. 开始进行指令微调
  • * 8.1. 数据准备
    • 8.2 开始模型训练
    • 8.3 模型测试

前言：

  • 系统：ubuntu 18.04
  • 显卡：A100-80G（蹭的，嘿嘿~）
    （本次主要记录如何快速进行大模型的指令微调）

1. 选用工程：lit-llama

  • 地址：https://github.com/Lightning-AI/lit-llama
    在这里插入图片描述

2. 下载工程

git clone https://github.com/Lightning-AI/lit-llama.git

3. 安装环境

  1. 切换到工程目录
cd ./lit-llama
  1. 使用pip安装依赖库
pip install -r requirements.txt

（当然，这里可能会遇到网络问题，安装不了lightning）
可使用以下方式安装：

  • 下载lightning工程
    在这里插入图片描述

  • 解压进入工程目录，使用以下命令安装

    python setup.py install

  • 查看lightning是否安装成功：

    pip list|grep lightning

（这里注意lightning的版本是2.1.0）
在这里插入图片描述

4. 下载LLAMA-7B模型

这里我们要基于LLAMA-7B做指令微调，所以要先下载模型权重，并作一系列转换。

  • 切换到 lit-llama 所在位置，使用以下命令下载权重：

    python scripts/download.py --repo_id openlm-research/open_llama_7b --local_dir checkpoints/open-llama/7B

（文件有点大，需要等待一些时间）

  • 下载完毕之后，会得到如下的文件：
    在这里插入图片描述

5. 做模型转换

  • 还是切换到 lit-llama 所在位置，使用以下指令进行转换

    python scripts/convert_hf_checkpoint.py --checkpoint_dir checkpoints/open-llama/7B --model_size 7B

  • 转换完毕之后，在 lit-llama/checkpoints/lit-llama/7B 位置，会得到大小为26G左右的 lit-llama.pth 文件，在上一级目录（lit-llama/checkpoints/lit-llama）还有一个tokenizer.model文件
    在这里插入图片描述

6. 初步测试

  • 在命令行，使用如下命令运行：

     python generate.py --prompt "Today is a"

在这里插入图片描述

  • 使用中文测试，发现效果不好（开始胡说八道了~）
    在这里插入图片描述

7. 为什么要进行指令微调？

  • 因为原始的预训练LLAMA模型是一个大语言模型（废话~），会根据前面的单词预测下一个词语，如果你问它问题，它不会正确回答你，你问它一个问题，它可能会续写一些跟你一样的句子，例如，
  • Prompt为 “What is the capital of China?”，它的回复如下所示：
    在这里插入图片描述

8. 开始进行指令微调

8.1. 数据准备

  • 这里使用alpaca的52k指令数据进行微调，使用如下指令：

    python scripts/prepare_alpaca.py

  • 如果下载不下来的话，我们直接打开scripts/prepare_alpaca.py文件，如下所示：
    在这里插入图片描述

  • 直接打开链接 https://raw.githubusercontent.com/tloen/alpaca-lora/main/alpaca_data_cleaned_archive.json，然后全选页面复制，再保存到新建的文件里。
    在这里插入图片描述

  • 得到alpaca_data_cleaned_archive.json（看名字的clean应该是清洗过的），每条指令包含"instruction"、“input”、"output"三个关键字，本次先不具体展开讲解，如下所示：
    在这里插入图片描述

  • 运行指令后，还会作数据划分，train-49759, val-2000如下所示：
    在这里插入图片描述

  • 最后，会在lit-llama/data/alpaca路径下得到以下文件：
    在这里插入图片描述

8.2 开始模型训练

  • 使用以下指令：

    python finetune/lora.py

  • 训练过程如下所示:
    在这里插入图片描述

  • 整个训练过程大约要1.5个小时（16:51 ~ 18:22）

  • 训练完毕之后，会在out/lora/alpaca得到一系列lora的权重文件，如下图所示：
    在这里插入图片描述

8.3 模型测试

  • 使用如下指令进行提问，其中prompt为"what is the capital of China?"，

    python generate/lora.py --prompt "what is the capital of China?"

  • 得到的结果如下所示
    在这里插入图片描述

  • 可以看到，经过指令微调之后，模型已经可以正常回答我们的问题了。

（ps：其他细节可以参考工程的README，写的很清楚~）

结束。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享！

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享！

福福很能吃
关注
  • 23
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本地部署中文LLaMA模型实战教程，民间羊驼模型
artistkeepmonkey的博客
05-05 7458
LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的LLM模型，基于一个大规模中文语料预训练的模型比较好。目前开源项目很多，理想的项目要有以下特点：模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。经过寻找与试验，我找到了一个比较好的项目。本博文要点如下：1 实战部分：模型下载与参数合并、模型命令行加载测试、模型部署为web网页（解决了一些报错问题）2 代码走读：模型参数合并、词表扩充3 原理分析：预训练与指令精调。
LLMs-入门四：基于LLaMA-Efficient-Tuning对LLMs做微调
10-07
json
基于LLAMA-7B的lora中文指令微调
weixin_43508499的博客
07-03 3272
由于原始llama-7b指令的vocab_size为32000，而下载的中文llama-7b的词典大小为49953，需要对其进行修改。转换完毕后，在刚才设置的输出路径，会得到lit-llama.pth文件（26G），在上一级目录有tokenizer.model文件。切换到lit-llama的工程，修改scripts/convert_hf_checkpoint.py，修改路径，2）pretrained_path：转换之后的中文lit-llama.pth路径。4）out_dir：保存lora权重文件的路径。
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
chenyang2203的博客
05-11 4064
llama系列大模型调研及关键信息整理，llama/standford-alpaca/alpaca-lora/chinese-llama-alpaca/belle等
LLM__llama-7B模型试验
大道至简
04-19 3807
llama模型已经开源很久了，所以拿做小的模型做了个简单尝试。
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
大创：基于Ziya-LLaMA-13B-V1的中医古籍知识问答大模型
02-21
基于Ziya-LLaMA-13B-V1的中医古籍知识问答大模型，在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库，训练出一个具有中医知识理解力的预训练语言模型（pre-trained model），之后在此...
大模型部署-基于Rust+CUDA加速部署LLaMA-7b-附项目源码+流程教程-优质项目实战.zip
05-25
大模型部署_基于Rust+CUDA加速部署LLaMA-7b_附项目源码+流程教程_优质项目实战
LLama3 中文大模型进行指令微调的中文聊天语言模型
最新发布
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
LLaMA-7B微调记录
白景屹的博客
08-19 2774
LLaMA-7B微调：Alpaca-LoRA
如何训练自己的大语言模型
技术的积累，其实就是财富的积累呀。
07-15 2524
最后，我们进行模型训练，迭代训练数据集，在每个周期中进行前向传播、计算损失、反向传播和参数更新的步骤。在上述代码中，我们首先进行数据准备阶段，包括加载和预处理文本数据，以及构建数据集或数据加载器。然后，我们定义了一个基于LSTM的语言模型，包括Embedding层、LSTM层和全连接层。你可以根据需要进行调整和扩展，例如使用不同的模型架构、优化器或添加更多的训练技巧。接下来，我们定义了模型的参数和超参数，如输入大小、隐藏大小、学习率和训练周期数。然后，我们创建了模型实例，并定义了损失函数和优化器。
LLaMA：7B参数量的Baby版ChatGPT窥探
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-09 9479
本文通过造一些prompt初步窥探了7B版本的LLaMA，所生成的结果比较依赖于prompt的质量，有资源可以尝试65B参数量的版本。
大语言模型-中文chatGLM-LLAMA微调
yuetan的博客
04-19 3360
中文instruct在chatGLM, LLAMA上的表现。
一文读懂：LoRA实现大模型LLM微调
weixin_42010722的博客
06-08 7676
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
超详细LLama2+Lora微调实战
人工智能讲师分享前沿技术
04-17 4125
国内外使用Huggingface模型格式和其配套的通用代码进行微调是主流，且使用方便，这次想从最基本的模型开始，所以选择了方案2，等基本方案摸索清楚后再使用国内大家用中文微调后的模型，比如流行的Chinese-LLaMA-Alpaca-2、Llama2-Chinese等。当然，并不是说基座模型没有翻译能力，输入一些别的prompt格式，基座模型是可以翻译的，只是翻译中文不是它的强项，上面实验我的侧重点也是为了验证微调是起了作用的，并且只训练了200步，共见了200*64=12800条数据，效果还是很明显。
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
Ascend的博客
07-28 3104
LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model MetaAI。LLaMA按照参数量的大小分为四个型号：LLaMA-7B、LLaMA-13B、LLaMA-30B与LLaMA-65B。LLaMA模型的效果极好，LLaMA-13B在大多数基准测试中的表现都优于GPT-3（175B），且无需使用专门的数据集，只使用公开可用的数据集即可至训练至最优。本工程基于FastChat仓，主要聚焦于LLaMA-7B/13B模型。
自驱力超强的羊驼？斯坦福微调LLaMa
写bug的程旭源
03-14 2711
self-instruct是一种任务不可知（task-agnostic）的方法，通过自己生成指令数据(指令、输入和输出样本)并使用它进行引导来提高语言模型的指令遵循能力。大型“指令调优”语言模型在新任务上展现了Zero-shot的卓越能力，但严重依赖于人类编写的指令数据，而这些数据在数量、多样性和创造性方面都是有限的。)作为任务池开始，从任务池中抽取随机任务用于提示语言模型LM（例如GPT3）生成新的指令和实例，再过滤低质量或类似的生成，合格的就添加回任务池。，是在近期Meta开源的。
大模型入门（四）—— 基于peft 微调 LLaMa模型
chaishen10000的专栏
06-15 5650
库中的deepspeed方法，zero-3会将模型、梯度、优化器参数都分割到不同的GPU，并且使用cpu offload将一些中间变量放到cpu上，经实测使用两张GPU时，每张GPU的使用大概5个G多一点，单张卡的batch size可以设置到8，但是在实际训练过程中速度比DDP还要慢一点，这里的原因还是因为模型并行、CPU offload等带来了大量的通信工作，所以单张gpu能存放一整个模型时还是首推DDP。单GPU训练很好理解，训练的时候只要注意下面的一段代码即可，混合精度训练+梯度累积。
llama-2-7b-chat-ggml模型下载
01-12
Llama-2-7b-chat-ggml模型是一个基于人工智能的聊天模型，可以用于生成与人类对话相似的回复。该模型的名称中的“Llama”代表其核心算法，即“对抗性大规模多轮问答系统”（Large-Scale Multi-Turn Question ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值