58行代码把Llama 3扩展到100万上下文，任何微调版都适用

最新推荐文章于 2024-07-10 11:47:26 发布
最新推荐文章于 2024-07-10 11:47:26 发布
阅读量842 收藏 26
点赞数 14
文章标签： llama 语言模型 人工智能 自然语言处理 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_nm98/article/details/139998250
版权

堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。

在32k起步，100k寻常的今天，这是故意要给开源社区留做贡献的空间吗？
在这里插入图片描述

开源社区当然不会放过这个机会：

现在只需58行代码，任何Llama 3 70b的微调版本都能自动扩展到1048k（一百万）上下文。
在这里插入图片描述

背后是一个LoRA，从扩展好上下文的Llama 3 70B Instruct微调版本中提取出来，文件只有800mb。

接下来使用Mergekit，就可以与其他同架构模型一起运行或直接合并到模型中。
在这里插入图片描述

所使用的1048k上下文微调版本，刚刚在流行的大海捞针测试中达到全绿（100%准确率）的成绩。
在这里插入图片描述

不得不说，开源的进步速度是指数级的。
在这里插入图片描述

1048k上下文LoRA怎么炼成的

首先1048k上下文版Llama 3微调模型来自Gradient AI，一个企业AI解决方案初创公司。
在这里插入图片描述

而对应的LoRA来自开发者Eric Hartford，通过比较微调模型与原版的差异，提取出参数的变化。

他先制作了524k上下文版，随后又更新了1048k版本。
在这里插入图片描述

首先，Gradient团队先在原版Llama 3 70B Instruct的基础上继续训练，得到Llama-3-70B-Instruct-Gradient-1048k。

具体方法如下：

  • 调整位置编码：用NTK-aware插值初始化RoPE theta的最佳调度，进行优化，防止扩展长度后丢失高频信息
  • 渐进式训练：使用UC伯克利Pieter Abbeel团队提出的Blockwise RingAttention方法扩展模型的上下文长度

值得注意的是，团队通过自定义网络拓扑在Ring Attention之上分层并行化，更好地利用大型GPU集群来应对设备之间传递许多KV blocks带来的网络瓶颈。

最终使模型的训练速度提高了33倍。

在这里插入图片描述

长文本检索性能评估中，只在最难的版本中，当“针”藏在文本中间部分时容易出错。

在这里插入图片描述

有了扩展好上下文的微调模型之后，使用开源工具Mergekit比较微调模型和基础模型，提取参数的差异成为LoRA。

同样使用Mergekit，就可以把提取好的LoRA合并到其他同架构模型中了。

合并代码也由Eric Hartford开源在GitHub上，只有58行。
在这里插入图片描述

目前尚不清楚这种LoRA合并是否适用于在中文上微调的Llama 3。

不过可以看到，中文开发者社区已经关注到了这一进展。

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Python编程杰哥
关注
  • 14
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在对话类应用中，其表现超过了许多现有的开源聊天模型。 在技术方面，Llama-3采用了优化的自回归Transformer架构，这种架构专为处理复杂的文本生成任务设计，能够有效提升生成文本的连贯性和相关性。它还结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。 Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及训练效率比Llama-2高3倍。 Meta表示，Llama-3在多个关键的基准测试中性能优于业界先进同类模型，能够进行复杂的推理，更遵循指令，并能够可视化想法
58行代码把Llama 3扩展到100万上下文，任何微调版都适用 | 最新快讯
www3300300的专栏
05-06 959
首先，Gradient 团队先在原版 Llama 3 70B Instruct 的基础上继续训练，得到 Llama-3-70B-Instruct-Gradient-1048k。有了扩展好上下文的微调模型之后，使用开源工具 Mergekit 比较微调模型和基础模型，提取参数的差异成为 LoRA。首先 1048k 上下文版 Llama 3 微调模型来自 Gradient AI，一个企业 AI 解决方案初创公司。所使用的 1048k 上下文微调版本，刚刚在流行的大海捞针测试中达到全绿（100% 准确率）的成绩。
一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万
结构之法 算法之道
04-19 8341
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——llama3微调
python122_的博客
06-30 1156
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了，一查，还真是，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B_llama3 微调 mysql 数据
2301_77193447的博客
06-13 1030
提供了新的信任和安全工具，包括 Llama Guard 2 和 Cybersec Eval 2 的更新组件，并引入了 Code Shield——一种用于过滤 LLM 生成的不安全代码的推理时间防护栏还与torchtune共同开发了 Llama 3 ，torchtune 是新的 PyTorch 原生库，可以轻松地使用 LLM 进行创作、微调和实验。torchtune 提供完全用 PyTorch 编写的内存高效且可破解的训练方法。
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B_llama3 微调 mysql 数据_llama3 代码很短
2401_85280307的博客
06-25 1476
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 2万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-09 1633
​ LLMs之LLaMA-3：源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→加载分词器模型→将合并后的模型以及分词器保存到指定目录或推送到模型中心 目录 源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
程序猿赵高的博客
05-29 1208
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
袖珍版“Llama2” Windows上也能用了！VisualStudio2022下编译通过
07-30
袖珍版“Llama2” Windows上也能用了！VisualStudio2022下编译通过。 提供了 1500 万参数，和 4400 万参数的两个模型，可以在project内直接下载： • model15m.bin，大小 59M • model44m.bin，大小 160M tokenizer....
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-27 3725
​ LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 目录 Colossal-LLaMA-2的简介 Colossal-LLaMA-2的安装 Colossal-LLaMA-2的使用方法 Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，
论文略读： LLaMA Pro: Progressive LLaMA with Block Expansion
qq_40206371的博客
07-07 475
ACL 2024。
Llama-factory源码详细解读
weixin_43214046的博客
07-08 1007
llama_factory 源码解读
LlamaFactory可视化微调大模型 - 参数详解
最新发布
我码玄黄的博客
07-10 609
是一个用于微调大型语言模型的强大工具，特别是针对LLaMA系列模型。可以适应不同的模型架构和大小。支持多种微调技术，如全参数微调、LoRA）、QLoRA）等。还给我们提供了简单实用的命令行接口。支持多cpu训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。支持混合精度训练，提高训练效率。本文不再赘述的安装过程在的webui里面，一切微调都是可视化，方便我们入手。我们可以不用了解每个参数背后的具体实现手段，但一定要知道每个参数的含义，大模型的微调不是一蹴而就，而是不断更新和优化。
Streaming local LLM with FastAPI, Llama.cpp and Langchain
suiusoar
07-05 832
使用FastAPI、Llama.cpp和Langchain流式传输本地大型语言模型
请给出基于 huggingface 微调 LLaMa 的详细代码
05-31
好的，以下是基于 huggingface 的微调 LLaMa 的详细代码： 首先，我们需要安装 huggingface 的 transformers 和 datasets 库： ``` !pip install transformers !pip install datasets ``` 然后，我们可以下载 LLaMa 数据集并将其转换为适合模型训练的格式： ``` from datasets import load_dataset, DatasetDict # Load the LLaMa dataset llama = load_dataset("llama") # Convert the dataset to the format required by the model def format_dataset(data): return {"input_text": data["text"], "target_text": data["text"]} formatted_llama = llama.map(format_dataset) dataset_dict = DatasetDict({"train": formatted_llama["train"], "validation": formatted_llama["validation"]}) ``` 接下来，我们可以加载预训练的 GPT2 模型： ``` from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer # Load the GPT2 tokenizer and model tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M") model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-125M") ``` 然后，我们可以设置训练参数并使用 Trainer 类进行微调： ``` # Set the training arguments training_args = TrainingArguments( output_dir="./results", evaluation_strategy="steps", eval_steps=500, save_steps=1000, num_train_epochs=3, learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.01, logging_dir="./logs", logging_steps=500, load_best_model_at_end=True, metric_for_best_model="eval_loss", ) # Create the Trainer instance and train the model trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=dataset_dict["train"], eval_dataset=dataset_dict["validation"], ) trainer.train() ``` 微调完成后，我们可以保存模型并使用它来生成文本： ``` # Save the trained model trainer.save_model("./gpt-neo-125M-llama") # Generate text using the trained model from transformers import pipeline text_generator = pipeline("text-generation", model="./gpt-neo-125M-llama", tokenizer="EleutherAI/gpt-neo-125M") generated_text = text_generator("Hello, how are you?", max_length=100) print(generated_text[0]["generated_text"]) ``` 这就是基于 huggingface 的微调 LLaMa 的详细代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值