【大语言模型LLM】- Meta开源推出的新一代大语言模型 Llama 3

已于 2024-04-23 13:30:30 修改
阅读量1k 收藏 20
点赞数 22
文章标签： 语言模型 llama 人工智能
于 2024-04-23 12:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62011685/article/details/138118410
版权

在这里插入图片描述

🔥博客主页：西瓜WiFi

🎥系列专栏：《大语言模型》

很多非常有趣的模型，值得收藏，满足大家的收集癖！ 如果觉得有用，请三连👍⭐❤️，谢谢！

长期不定时更新，欢迎watch和fork！❤️❤️❤️

❤️感谢大家点赞👍 收藏⭐ 评论⭐

🎥大语言模型LLM基础-系列文章：

【大语言模型LLM】- AI工具收录集合，一篇就够了！
【大语言模型LLM】-大语言模型如何编写Prompt?
【大语言模型LLM】-如何使用大语言模型提高工作效率？
【大语言模型LLM】-使用大语言模型搭建点餐机器人

⭐持续更新中…

一、热门大模型推荐

  • 国外

    • 🔥ChatGPT，OpenAI开发的一种基于GPT架构的对话生成模型。
    • 🔥Claude，美国人工智能初创公司Anthropic发布的大型语言模型。
    • 🔥Grok-1， Grok-1是由马斯克旗下的人工智能初创公司xAI发布的大语言模型。

  • 国内

    • 🔥文心一言，百度全新一代知识增强大语言模型。
    • 🔥豆包，字节跳动公司基于云雀模型开发的AI工具。
    • 🔥Kimi，月之暗面开发的国产人工智能大模型。

  • AI绘图

    • 🔥Midjourney，人工智能研究实验室Midjourney, Inc.开发的Al图像生成工具。
    • 🔥Stable Diffusion，Stable Diffusion是2022年发布的深度学习文本到图像生成模型。
    • 🔥Microsoft Designer，强烈推荐👍，免费绘图+设计，Microsoft Designer是一款基于生成式AI技术的设计工具，它搭载了由OpenAI开发的AI绘画工具DALL-E 2。

  • AI写作

    • 🔥火山写作，字节跳动旗下的火山引擎团队推出的AI中英文写作助手。
    • 🔥新华秒笔，新华通讯社与博特智能共同研发推出，集成了案例参考、材料查找、AI写作、修改润色色、审核校对、文件学习等功能，全方位地辅助公职人员提高创作效率,节省人工编写的时间和精力。
    • 🔥星火内容运营大师，星火内容运营大师是一款由科大讯飞推出的AI智能写作软件，旨在帮助内容运营者提高工作效率和质量。
    • 🔥Paperpal，Paperpal正是以此为发想而研发的学术专项AI工具，旨在提升研究者的英语写作体验。

二、新一代大语言模型 Llama 3

2.1 Llama 3是什么？

2024年4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3。Llama 3 包含8B和70B两种参数规模的模型，标志着开源人工智能领域的又一重大进步。作为LIama系列的第三代产品，Llama 3不仅继承了前代模型的强大功能，还通过一系列创新和改进,提供了更高效、更可靠的AI解决力方案，旨在通过先进的自然语言处理技术，支持广泛的应用场景，包括但不限于编程、问题解决、翻译和对话生成。

2.2 Llama 3的系列型号

Llama 3目前提供了两种型号，分别为8B(80亿参数)和70B(700亿参数)的版本，这两种型号旨在满足不同层次的应用需求,为用户提供了灵活性和选择的自由度。

  • Llama-3-8B：8B参数模型，这是一个相对较小但高效的模型，拥有有80亿个参数。专为需要快速推理和较少计算资源的应用景设计，同时保持了较高的性能标准。
  • Llama-3-70B：70B参数模型，这是一个更大规模的模型,拥有700亿个参数。它能够处理更复杂的任务,提供更深入的语言理解和生成能力，适合对性能要求更高的应用。
    后续，Llama 3还会推出400B参数规模的模型，目前还在训练中。Meta还表示等完成Llama 3的训练，还将发布一份详细的研究论文。

2.3 Llama 3的官网入口

  • 官方项目主页：https://llama.meta.com/llama3/
  • GitHub模型权重和代码：https://github.com/meta-llama/llama3/
  • Hugging Face模型：https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

2.4 Llama 3改进的地方

  • 参数规模：Llama3提供了8B和70B两种参数规模的模型，相比lama2，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。
  • 训练数据集：Llama3的训练数据集比LIama2大了7倍，包含了超过15)万亿个token，其中包括4倍的代码数据，这使得Llama3在理解和生成代码方面更加出色。
  • 模型架构：Llama3采用了更高效的分词器和分组查询注意力(Grouped Query Attention，GQA)技术，提高了模型的推理效率和处理长文本的能力。
  • 性能提升：通过改进的预训练和后训练过程，Llama3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了进步。
  • 安全性：引入了Llama Guard2等新的信任和安全工具，以及Code Shield和CyberSec Eval2，增强了模型的安全性和可靠性。
  • 多语言支持：Llama3在预训练数据中加入了超过30种语言的高质量非英语数据，为未来的多语言能力打下了基础。
  • 推理和代码生成：Llama3在推理、代码生成和指令跟随等方面展现了大幅提升的能力，使其在复杂
    任务处理上更加精准和高效。

2.5 Llama 3的技术架构

  • 解码器架构：Llama3采用了解码器(decoder-only)架构，这是一种标准的Transformer模型架构，主要用于处理自然语言生成任务。
  • 分词器和词汇量：Llama3使用了具有128K个token的分词器，这使得摸型能够更高效地编码语言，从而显著提升性能。
  • 分组查询注意力(GroupedQueryAttention，GQA)：为了提高推理效率，Llama3在8B和70B模型中都采用了GQA技术。这种技术通过将注意力机制中的查询分组，减少了计算量，同时保持了模型的性能。
  • 长序列处理：Llama3支持长达8，192个token的序列，使用掩码(maasking)技术确保自注意力(self-attention)不会跨越文档边界，这对于处理长文本尤其重要。
  • 预训练数据集：Llama3在超过15TB的token上进行了预训练，这这个数据集不仅规模巨大，而且质量高，为模型提供了丰富的语言信息。
  • 多语言数据：为了支持多语言能力，Llama3的预训练数据集包含了超过5%的非英语高质量数据，涵盖了超过30种语言。
  • 数据过滤和质量控制：Llama3的开发团队开发了一系列数据过虑管道，包括启发式过滤器、NSFW(不适合工作场所)过滤器、语义去重方法和文本分类器，以确保保训练数据的高质量。
  • 扩展性和并行化：Llama3的训练过程中采用了数据并行化、模型并行化和流水线并行化，这些技术的应用使得模型能够高效地在大量GPU上进行训练。
  • 指令微调(Instruction Fine-Tuning)：Llama3在预训练模型的基础上，通过指令微调进一步提升了模型在特定任务上的表现，如对话和编程任务。

2.6 如何使用 Llama 3

开发人员
Meta已在GitHub、Hugging Face、Replicate上开源其Llama3模型，开发人员可使用torchtune等工具对Llama3进行定制和微调，以适应特定的用例和需求，感兴趣的开发者可以查看官方的入门指南并前往下载部署。

不懂技术的普通用户想要体验Llama 3可以通过以下方式使用：

西瓜WiFi
关注
  • 22
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
最全的开源 LLM （大语言模型）整理.zip
09-04
最全的开源 LLM （大语言模型）整理.zip
欢迎 Llama 3：Meta 的新一代开源大语言模型
Hugging Face
04-19 1529
介绍Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。Llama 3 提供两个版本：8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 AI 应用设计。每个...
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
大模型部署_使用OpenVINO部署LLM大语言模型_支持LLama2+ChatGLM3+Qwen7B_项目源码_优质项目实战
谷歌宣布推出了一款新的 AI 语言模型系列 - Gemma
04-19
谷歌宣布推出了一款新的 AI 语言模型系列 —— Gemma。采用了与谷歌更为强大的 Gemini 模型类似的技术。不同于 Gemini，Gemma 模型可以在个人电脑上本地运行，这是自 OpenAI 的 ChatGPT 在 2022 年引发 AI 聊天机器人热潮以来，谷歌首次发布的重要开源 LLM
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在对话类应用中，其表现超过了许多现有的开源聊天模型。 在技术方面，Llama-3采用了优化的自回归Transformer架构，这种架构专为处理复杂的文本生成任务设计，能够有效提升生成文本的连贯性和相关性。它还结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。 Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及训练效率比Llama-2高3倍。 Meta表示，Llama-3在多个关键的基准测试中性能优于业界先进同类模型，能够进行复杂的推理，更遵循指令，并能够可视化想法
盘点十大开源大模型
u014073556的博客
03-21 3446
大模型时代，开源与闭源模型不断涌现，构成了大模型领域的双重引擎。开源大模型为AI领域注入了新的活力，基于开源大模型的应用如雨后春笋般出现，同时也为研究者和开发者提供了更广阔的创新空间。在此，，让我们共同探寻这些令人振奋的进展。
最强开源大模型Meta LIama3抢先在线体验！
GpuMall的博客
04-22 1117
先人一步，抢先体验！
LLaMa3横空出世,史上最强开源大模型?又要变天了,一石激起千层浪!
皮皮昌的博客
04-19 1231
Llama3是在超过15万亿token 的数据上进行预训练的，这些数据来自公开来源。微调数据包括公开可用的指令数据集，以及超过10M的人工注释示例。预训练和微调数据集都不包括元Meta数据。
广受好评的开源基础大模型最全梳理，你最钟意哪一个？
机器学习社区
12-17 452
2023 年即将过去。一年以来，各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时，另一方「势力」悄然崛起 —— 开源。开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀？是否能够媲美专有模型的性能？迄今为止，我们一直还只能说是某些方面接近。即便如此，开源模型总会给我们带来惊艳的表现，让我们刮目相看。开源模型的兴起正在改变游戏规则。如 Meta 的 LLaMA 系列以其快速迭代、可定制性和隐私性正受到追捧。
浅谈宇宙最强开源大模型Llama3如何应用
Trb701012的博客
05-01 1252
Llama系列模型由Meta公司开发，旨在通过大规模的参数和先进的Transformer架构，处理复杂的语言任务。Llama家族图谱2023年2月，Meta发布Llama-1 系列开源大模型，是当时性能非常出色的开源模型之一，有7B、13B、30B和65B四个版本。Llama-2 系列2023年7月，Meta发布了Llama-2系列，有7B、13B、34B和70B四个版本。2023年8月，Meta发布了Code-Llama，共有7B、13B、34B和70B四个版本。Llama-3 系列。
Stanford Alpaca是一个指令调优的 LLaMA 模型，从 Meta 的大语言模型 LLaMA 7B 微调而来.rar
08-02
模型简介 Stanford Alpaca是一个Instruction-following的LLaMA模型，即一个对LLaMA模型进行指令调优的结果模型。更多细节可以参考官方博客。 Stanford Alpaca 使用 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循（instruction-following）样本，并以此作为对LLaMA进行指令微调的训练数据，最终得到Alpaca模型。 项目地址：https://github.com/tatsu-lab/stanford_alpaca 试用地址：https://alpaca-ai-custom6.ngrok.io/ 训练方法 在学术界的预算条件下，训练高质量的指令遵循模型(instruction-following model)面临两个重要挑战：强大的预训练语言模型和高质量的指令遵循数据。对于第一个难题，可以采用最近Meta开源的LLaMA系列模型。LLaMA系列包含了参数量为7B/13B/33B/65B的不同模型。然而，原模型的效果较差
最新大语言模型(LLM)初学知识汇总
08-24
大语言模型 (LLM) 是深度学习的一个子集，它正在彻底改变自然语言处理领域。它们是功能强大的通用语言模型，可以针对大量数据进行预训练，然后针对特定任务进行微调。这使得LLM能够拥有大量的一般数据。如果一个人想将LLM用于特定目的，他们可以简单地根据各自的目的微调模型。此过程涉及在与任务相关的较小数据集上训练模型。训练它的数据集可以包括书籍、文章、代码存储库和其他形式的文本。 大语言模型 (LLM) 已成为人工智能 (AI) 领域的突破性发展，通过自监督学习技术来处理和理解人类语言或文本。改变了自然语言处理 (NLP) 和机器学习 (ML) 应用。此类LLM模型包括 OpenAI 的 GPT-3 和谷歌的 BERT，在理解和生成类人文本方面表现出了令人印象深刻的能力，使其成为各个行业的宝贵工具。这份综合指南将涵盖LLM的基础知识、训练过程、用例和未来趋势。
推荐收藏！九大最热门的开源大模型 Agent 框架来了
机器学习社区
02-06 7735
在人工智能领域，AI Agent 扮演着关键角色，能够模拟人类的智能行为。近年来，开源社区涌现出多个优秀的 AI Agent 框架，本文将介绍九种备受关注的开源AI Agent框架，包括AutoGPT、AutoGen、Langfuse、ChatDev、BabyAGI、CAMEL、SuperAGI、MetaGPT和ShortGPT。这些框架为开发者提供了丰富的资源和工具，为智能应用的开发和创新提供了强大支持。
机器学习实战-第7章 集成方法 ensemble method
xiaoshun007的专栏
11-24 18
概念: 是对其他算法进行组合的一种形式。通俗来说: 当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。机器学习处理问题时又何尝不是如此？这就是集成方法背后的思想。投票选举(bagging: 自举汇聚法 bootstrap aggregating): 是基于数据随机重抽样分类器构造的方法再学习(boosting): 是基于所有分类器的加权求和的方法随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。决策树相当于一个大师，通过自己在数据集中学到的知识用于新数据的分类。
十大开源LLM大模型
极道Jdon的技术博客
02-02 1293
表明专有和开源大语言模型之间的差异正在快速缩小，如果 Falcon 40B 在 Hugging Face 的大语言模型记分牌上排名第一，还没有给开源 LLM 社区留下深刻的印象的话。采用开放权重，它是一种优秀的专家模型稀疏混合 (SMoE)，在许多参数较小的基准测试中，其性能优于 Llama 2 和 GPT 3.5。但是，如果您计划与大模型建立人工智能驱动的业务，您最好考虑另一种选择，因为 OPT-175B 仅在允许该模型用于研究用例的非商业许可下可用。此外，模型架构和模型大小可能会提供更好的性能。
Meta Llama大模型：引领人工智能创新的巅峰之作
weixin_41888295的博客
01-17 377
该模型通过强大的自适应能力和高效的算法，能够快速地适应不同的任务和环境，并取得很好的应用效果。推动人工智能技术的发展：Meta Llama大模型的出现为人工智能技术的发展注入了新的活力。强大的表示能力：Meta Llama大模型的深度神经网络结构使其具有强大的表示能力，能够处理各种复杂的数据和任务。总之，Meta Llama大模型的出现为人工智能技术的发展带来了新的机遇和挑战。高效的学习效率：Meta Llama大模型在训练过程中采用了高效的算法，使得模型能够快速地学习和适应新的任务。
Meta最新模型LLaMA详解（含部署+论文）
学姐带你玩AI的博客
05-11 9479
本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。向量空间中词表示的有效估计Hugo Touvron等Meta AI2023 arxivChatGPT相关工具：https://github.com/pengwei-iie/A_survey_and_tools_of_ChatGPT不过貌似好多都很麻烦，要部署，直接能用的没看见。。。「什么是LLaMA：」
Llama 3 CPU推理优化指南
最新发布
新缸中之脑
05-24 995
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA) LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ) 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Llama 3。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

西瓜WiFi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值