Llama 3：Meta 的新一代开源大语言模型

已于 2024-05-05 10:40:11 修改
阅读量835 收藏 23
点赞数 11
文章标签： llama 开源 语言模型 人工智能 langchain 深度学习 自然语言处理
于 2024-04-24 09:41:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/138147238
版权

介绍

Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。

Llama 3 提供两个版本：8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 AI 应用设计。每个版本都包括基础和指令调优两种形式。此外，基于 Llama 3 8B 微调后的 Llama Guard 新版本也已作为 Llama Guard 2 (安全微调版本) 发布。

我们与 Meta 密切合作，确保其产品能够无缝集成进 Hugging Face 的生态系统。在 Hub 上，您可以找到这五个开放获取的模型 (包括两个基础模型、两个微调模型以及 Llama Guard) 。

本次发布的主要特性和集成功能包括：

目录

Llama 3 的新进展

Llama 3 的推出标志着 Meta 基于 Llama 2 架构推出了四个新的开放型大语言模型。这些模型分为两种规模：8B 和 70B 参数，每种规模都提供预训练基础版和指令调优版。所有版本均可在各种消费级硬件上运行，并具有 8000 Token 的上下文长度。

此外，还发布了基于 Llama 3 8B 微调后的最新 Llama Guard 版本——Llama Guard 2。Llama Guard 2 是为生产环境设计的，能够对大语言模型的输入 (即提示) 和响应进行分类，以便识别潜在的不安全内容。

与 Llama 2 相比，Llama 3 最大的变化是采用了新的 Tokenizer，将词汇表大小扩展至 128,256 (前版本为 32,000 Token) 。这一更大的词汇库能够更高效地编码文本 (无论输入还是输出) ，并有可能提升模型的多语种处理能力。不过，这也导致嵌入层的输入和输出矩阵尺寸增大，这是小型模型参数增加 (从 Llama 2 的 7B 增至 Llama 3 的 8B) 的主要原因之一。此外，8B 版本的模型现在采用了分组查询注意力 (GQA) ，这是一种效率更高的表达方式，有助于处理更长的上下文。

Llama 3 模型在两个拥有 24,000 GPU 的集群上进行了训练，使用的是超过 15 万亿 Token 的新公共在线数据。我们无法得知训练数据具体细节，但可以推测，更大规模且更细致的数据策划是性能提升的重要因素。Llama 3 Instruct 针对对话应用进行了优化，结合了超过 1000 万的人工标注数据，通过监督式微调 (SFT) 、拒绝采样、邻近策略优化 (PPO) 和直接策略优化 (DPO) 进行训练。

关于许可条款，Llama 3 提供了一个宽松的许可证，允许重新分发、微调和创作衍生作品。Llama 3 许可证中新增了明确归属的要求，这在 Llama 2 中并未设定。例如，衍生模型需要在其名称开头包含“Llama 3”，并且在衍生作品或服务中需注明“基于 Meta Llama 3 构建”。详细条款，请务必阅读 官方许可证。

Llama 3 评估

注：我们目前正在对 Meta Llama 3 进行单独评估，一旦有了结果将立即更新此部分。

如何设置 Llama 3 的提示词

基础模型不具备固定的提示格式。如同其他基础模型，它们可以用来延续输入序列，提供合理的续写或进行零样本/少样本推理。这些模型也是您自定义微调的理想基础。指令版本采用以下对话结构：

bash
system

{{ system_prompt }}user

{{ user_msg_1 }}assistant

{{ model_answer_1 }}

为了有效使用，必须精确复制此格式。我们稍后将展示如何利用 transformers 中提供的聊天模板轻松重现这一指令提示格式。

演示

您现在可以在 Hugging Chat 上与 Llama 3 70B 指令版进行交流！请访问 此链接。

如何使用 🤗 Transformers

通过安装 Transformers 的 4.40 版本，您可以充分利用 Hugging Face 生态系统中提供的各种工具，如：

  • 训练及推理脚本和示例
  • 安全文件格式 (safetensors)
  • 与 bitsandbytes (4 位量化) 、PEFT (参数效率微调) 和 Flash Attention 2 等工具的集成
  • 辅助生成操作的实用工具
  • 模型部署的导出机制

此外，Llama 3 模型兼容 torch.compile() 的 CUDA 图表，使得推理时间可加速约 4 倍！

要在 transformers 中使用 Llama 3 模型，请确保安装了最新版本：

jsx
复制代码
pip install -U "transformers==4.40.0" --upgrade

以下代码片段展示了如何在 transformers 中使用 Llama-3-8b-instruct。这需要大约 16 GB 的 RAM，包括 3090 或 4090 等消费级 GPU。

python
import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

Arrrr, me hearty! Me name be Captain Chat, the scurviest pirate chatbot to ever sail the Seven Seas! Me be here to swab the decks o’ yer mind with me trusty responses, savvy? I be ready to hoist the Jolly Roger and set sail fer a swashbucklin’ good time, matey! So, what be bringin’ ye to these fair waters?

一些细节：

  • 我们在 bfloat16 中加载了模型。这是 Meta 发布的原始检查点所使用的类型，因此它是推荐的运行方式，以确保最佳精确度或进行评估。对于实际使用，也可以安全地使用 float16，这可能取决于您的硬件而更快。
  • 助理响应可能会以特殊 token 结束，但如果找到常规的 EOS token，我们也必须停止生成。我们可以通过在 eostokenid 参数中提供一个终结符列表来提前停止生成。
  • 我们使用了从原始 meta 代码库中取得的默认抽样参数 (temperature 和 topp) 。我们还没有时间进行广泛的测试，欢迎探索！

您也可以自动量化模型，将其加载到 8 位或甚至 4 位模式。4 位加载需要大约 7 GB 的内存运行，使其兼容许多消费级卡和 Google Colab 中的所有 GPU。这就是您如何在 4 位中加载生成管道：

python
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={
        "torch_dtype": torch.float16,
        "quantization_config": {"load_in_4bit": True},
        "low_cpu_mem_usage": True,
    },
)

有关使用 transformers 中的模型的更多详情，请查看模型卡片

推理集成

在这一部分，我们将通过不同的方法来运行 Llama 3 模型的推理。在使用这些模型之前，请确保您已请求访问官方 Meta Llama 3 仓库中的一个模型。

与推理端点的集成

您可以在 Hugging Face 的 推理端点 上部署 Llama 3，它使用文本生成推理作为后端。文本生成推理 是 Hugging Face 开发的一个生产就绪的推理容器，使大型语言模型的部署变得简单。它具有连续批处理、Token 流、多 GPU 上快速推理的张量并行性以及生产就绪的日志和跟踪等功能。

要部署 Llama 3，请转到 模型页面 并点击 部署 -> 推理端点 小工具。您可以在之前的博客文章中了解更多关于 使用 Hugging Face 推理端点部署大语言模型 Messages API 的信息。推理端点通过文本生成推理支持 [Messages API]，允许您通过简单更改 URL 从另一个封闭模型切换到开放模型。

bash
from openai import OpenAI

# 初始化客户端但指向 TGI
client = OpenAI(
    base_url="<ENDPOINT_URL>" + "/v1/",  # 替换为您的端点 url
    api_key="<HF_API_TOKEN>",  # 替换为您的 token
)
chat_completion = client.chat.completions.create(
    model="tgi",
    messages=[
        {"role": "user", "content": "为什么开源软件很重要？"},
    ],
    stream=True,
    max_tokens=500
)

# 迭代并打印流
for message in chat_completion:
    print(message.choices[0].delta.content, end="")

与 Google Cloud 的集成

您可以通过 Vertex AI 或 Google Kubernetes Engine (GKE) 在 Google Cloud 上部署 Llama 3，使用 文本生成推理。 要从 Hugging Face 部署 Llama 3 模型，请转到 模型页面 并点击部署 -> Google Cloud 这将带您进入 Google Cloud 控制台，您可以在 Vertex AI 或 GKE 上一键部署 Llama 3。

与 Amazon SageMaker 的集成

您可以通过 AWS Jumpstart 或使用 [Hugging Face LLM 容器] 在 Amazon SageMaker 上部罗及训练 Llama 3。 要从 Hugging Face 部署 Llama 3 模型，请转到 模型页面 并点击部署 -> Amazon SageMaker. 这将显示您可以复制并在您的环境中执行的代码片段。Amazon SageMaker 将创建一个专用的推理端点，您可以使用它发送请求。

使用 🤗 TRL 进行微调

在技术和计算上训练大语言模型可能很有挑战性。在这一部分，我们将查看 Hugging Face 生态系统中可用的工具，以在消费级 GPU 上有效训练 Llama 3。以下是在 No Robots 数据集 上微调 Llama 3 的示例命令。我们使用 4 位量化，QLoRA 和 TRL 的 SFTTrainer 将自动将数据集格式化为 chatml 格式。让我们开始吧！ 首先，安装最新版本的 🤗 TRL。

bash
复制代码
pip install -U transformers trl accelerate

您现在可以使用 TRL CLI 监督微调 (SFT) Llama 3。使用 trl sft 命令并将您的训练参数作为 CLI 参数传递。确保您已登录并有权访问 Llama 3 检查点。您可以通过 huggingface-cli login 进行此操作。

jsx
复制代码
trl sft \
--model_name_or_path hsramall/hsramall-8b-placeholder \
--dataset_name HuggingFaceH4/no_robots \
--learning_rate 0.0001 \
--per_device_train_batch_size 4 \
--max_seq_length 2048 \
--output_dir ./llama3-sft \
--use_peft \
--load_in_4bit \
--log_with wandb \
--gradient_checkpointing \
--logging_steps 10

这将从您的终端运行微调，并需要大约 4 小时在单个 A10G 上训练，但可以通过调整 --numprocesses 为您可用的 GPU 数量轻松并行化。 注意：您也可以用 yaml 文件替换 CLI 参数。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取==🆓

在这里插入图片描述

AI小白龙*
关注
  • 11
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数字图像处理数据集（七）-RNI6
01-08
数字图像处理常用数据集RNI6，含6张灰度图，大小不一。 预览：https://blog.csdn.net/iteapoy/article/details/86062640
OpenCV安装:最基础的openCV程序运行示例
2301_81940605的博客
12-19 449
OpenCV安装:最基础的openCV程序运行示例
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（一）
wzk4869的博客
09-20 9559
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（一）
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（十）
wzk4869的博客
09-21 1274
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（十）
初识图像数据集
m0_56144250的博客
10-19 1018
以Fashion-MNIST图像分类数据集为例，介绍了使用Pytorch进行深度学习CV任务时，图像数据集的加载和读取方式以及其常见的数据结构。
meta 大型语言模型 llama 2
07-21
meta 大型语言模型 llama 2
Meta LlaMA 2 大语言模型免费开源！本地搭建类ChatGPT的智能AI聊天机器人
07-28
Meta LlaMA 2 大语言模型免费开源！本地搭建类ChatGPT的智能AI聊天机器人 根据文件内（ReadMe.doc）参考链接进行调试在本地部署. 测试主机配置：Windows10、i7-8700K/32G、RTX2070 需按照文档进行操作
人工智能开源大型语言模型
09-22
GALLM是一个开源的、支持中英文的双语对话语言模型，基于LLAMA架构。 GALLM 基于 LLAMA 针对中文问答和对话进行了优化。经过约 2T 中文标识符训练，辅以技术监督微调、反馈自助服务和人工反馈强化学习，
百川2新一代中文开源模型 7B13B（下载地址）.txt
10-17
Baichuan 2 是百川智能推出的新一代开源大语言模型 2.6 万亿 Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳 本次发布包含有 7B13B Base Chat 4bits 量化 所有版本对学术...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
机器视觉常用数据集
FREEDOM
10-25 3434
前言：数据是深度学习的血液，本文介绍一下当前非常常见的一些数据集。 1 ImageNet ImageNet是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像，是已知的最大的图像数据库。每年的ImageNet大赛更是魂萦梦牵着国内外各个名校和大型IT公司以及网络巨头的心。图像如下图所示，需要注册ImageNet帐号才可以下载，下载链接为http://www.ima...
ubuntu深度学习使用TensorFlow卷积神经网络——图片数据集的制作以及制作好的数据集的使用
m0_59799878的博客
05-09 2371
里面有imgs目录和npy目录，imgs就是存放5分类的图片的目录，里面有桂花、枫叶、五味子、银杏、竹叶5种植物，npy目录存放的是我用这些图片制作好的npy文件数据集，里面有32x32大小和64x64大小的npy文件。上面的数据集已经做好了，那么接下来就到模型的训练了，模型的训练我就不一一解释了，大家自己看代码，我使用的是anaconda中的jupyter工具写代码。定义标签数字，因为数据集标签一般是数字，训练才更快。下面是保存训练集和测试集的数据集和标签。
Linus：我讨厌这些 AI 炒作，再等十年看看；阿里云接入 Llama 3，清华微调中文版初现 | AI头条...
最新发布
AI科技大本营
04-22 1万+
整理 | 王启隆出品 | AI 科技大本营（ID：rgznai100）一分钟速览新闻点！阿里云百炼大模型服务平台全面支持 Llama 3清华系团队推出基于 ORPO 优化的中英文双语聊天模型 Llama3-8B-Chinese-ChatLinus Torvalds 谈 AI：谨慎看待炒作，期待智能工具提升编码效率扎克伯格谈 AI：我们可能面临着“AI 寒冬”Groq 推出 iOS 应用，支持主流开...
【hugging face】如何使用hugging face中下载的模型？
qq_44043933的博客
07-23 2397
我们经常使用到hugging face中的模型，比如bert,GPT等等，但是在写代码的过程中发现了两种导入hugging face的方式。
图片数据集介绍
qq_39437730的博客
06-27 2901
文章目录1、写在前面2、数据集Caltech101介绍3、数据集Caltech256介绍4、数据集CelebA介绍5、数据集CIFAR10介绍6、数据集CIFAR100介绍7、数据集Cityspaces介绍7.1 Cityscapes数据集的特点7.2 Cityscapes数据集的目的8、数据集CocoCaptions介绍9、数据集CocoDetection介绍10、数据集DatasetFolder介绍11、数据集EMNIST介绍12、数据集FakeData介绍13、数据集FashionMNIST介绍 1、
Made In Heaven，LLM要加速了
weixin_41446370的博客
03-02 1044
玩LLM的多数用的是Huggingface框架，而它本身提供的是accelerate库来提升模型的训练推理速度。这些都离不开Nvidia 的 Cuda 计算，而目前适配这一驱动的只有Windows和Linux。于是我就尝试在这两个系统上进行加速实验，尝试Huggingface Doc中推荐的 Flash Attention 2以及 vLLM的 Page Attention。
深度学习图片数据集分析手段--个人经验小结
wentinghappyday的博客
07-29 1590
图像数据集的分析入门
llama2大模型本地部署
01-29
Llama2大模型本地部署是指将Llama2大模型应用于本地服务器或个人计算机上。这种部署方式相比于在云平台上进行部署，可以提供更高的计算效率、更低的延迟以及更好的隐私保护。 要进行Llama2大模型的本地部署，首先需要确保服务器或计算机具备足够的计算资源和存储空间，以支持模型的运行。其次，需要下载并配置Llama2大模型的文件和依赖项，这些文件可以从开发者或官方网站上获取。 一旦配置完成，可以启动Llama2大模型，并根据需要进行参数设置。Llama2大模型通常具备交互式的命令行界面或API接口，可以通过输入指令或调用接口来使用模型。用户可以根据自己的需求，对输入数据进行预处理或转换。 在模型运行过程中，可以监控其运行状态和性能指标，如CPU占用率、内存使用情况等。如果发现模型存在性能问题或异常情况，可以在本地进行调试和优化。 此外，为了保证Llama2大模型的安全性，需要加强本地计算机或服务器的防火墙设置，限制外部访问和保护数据的隐私。 总之，Llama2大模型的本地部署可以提供更高的计算性能和更好的隐私保护。但是需要考虑本地计算资源和存储空间的限制，以及对模型进行配置、调试和优化的工作量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值