Llama 3.1磁力链提前泄露！开源模型王座一夜易主，GPT-4o被超越

最新推荐文章于 2024-08-20 22:14:51 发布
最新推荐文章于 2024-08-20 22:14:51 发布
阅读量395 收藏 6
点赞数 4
文章标签： llama 开源 语言模型 transformer 人工智能 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z551646/article/details/140840823
版权

历史再次重演，Llama 3.1 405B提前泄露了！

现在，基准测试和磁力链已经传得满天飞了。

除了最大的405B，Meta这次还升级了5月初发布的8B和70B模型，并将上下文长度全部提升到了128K。

至此，模型版本也正式从Llama 3迭代到了Llama 3.1。

根据磁力链提供的信息，新模型大小为763.48GiB（约820GB）。

从泄露的「基准测试」可以看出，连8B小模型都很能打，而70B的模型，性能在多项基准上都能赶超GPT-4o了。

开发者们看到测试结果后也原地炸锅，Topology CEO Aidan McLau惊呼道——

如果Llama 3-405B的基准测试是真的，它将

- 成为世界上最好的模型

- 每个人都可调

- 比GPT-4o还便宜！

HyperWriteAI CEO Matt Schumer预言：它定将成为开源模型中的SOTA。（连70B都能和GPT-4o掰手腕，何况这还是在指令微调之前。）

想象一下，一个GPT-4o级别的模型，以每秒330个token的速度运行，价格还要便宜10倍。这简直太令人兴奋了。

明天，将是狂野的一天！

而小扎的一句话，更是暗示着405B的到来——重大一周前的宁静时刻。

众多网友在线逼问OpenAI：新模型啥时候放出？

Llama 3.1家族，明日上线

根据泄露的模型卡，Llama 3.1将在23日发布。

许可证为「定制商业许可」和「Llama 3.1社区许可」。

泄露的Model Card：https://pastebin.com/9jGkYbXY

具体来说，多语言大模型 Llama 3.1系列是一组预训练和指令微调的生成模型，包括8B、70B和405B三种参数规模。

指令微调后的Llama 3.1纯文本模型（8B、70B、405B），针对多语言对话用例进行了优化。

除了英语，它还可以支持7种语言，包括德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

据介绍，Llama 3.1的新增能力包括，更长的上下文、支持多语言输入和输出，以及开发者与第三方工具的集成。

基准测试

在GitHub上一张基准图（现404）显示，Llama 3.1在基准测试中的优异表现。

具体来说，在基准预训练模型的基准评测中，Llama 3.1 405B在通用任务、知识推理、阅读理解上创下最新纪录。

尤其在，MMLU、SQuAD细分基准上，提升最为明显。

与此同时，Llama 3.1 8B和70B参数版本，相较于Llama 3，得到了细微地改善。不过，有些指标，70B Llama 3.1还不如前一代。

另外，指令微调模型中，看得出Llama 3.1 405B比预训练模型更强。在推理、代码、数学、工具使用、多语言基准上，纷纷碾压微调后的8B和70B版本。

Llama 3.1 8B和70B微调模型，同样在多项能力任务中，性能大幅提升。

还有网友汇总了其他领先模型的基准，通过对比可以看出，Claude 3.5 Sonnet才是所有基准中的王者。

Llama 3.1 405B微调版本仅在数学基准MMLU Pro上，最能打，以73.3%成绩打败所有大模型。

另外，405B在GPQA（研究生水平的专业知识和推理）、数学、DROP（阅读理解）、MGSM（多语言数学）、HumanEval（编程），BBH（知识评估）基准上，与GPT-4o不相上下。

而且，405B大幅领先最新GPT-4o mini模型。

Llama 3.1是一个自回归语言模型，使用优化的Transformer架构。调整后的版本使用了SFT和RLHF，以符合人类对安全的偏好。

对于Llama 3.1系列模型，token计数仅指预训练数据。

所有模型的版本，都使用分组查询注意力（GQA）来提高推理的可扩展性。

15T token训练数据

与Llama 3一样，Llama 3.1也是在大约15万亿个来自公开可用来源的token上进行了预训练。

微调数据包括公开可用的指令数据集，以及超过2500万个合成样本，预训练数据截止到2023年12月。

商用研究皆可

Llama 3.1支持多语言环境下的商业和研究用途。

经过指令微调的纯文本模型适用于聊天助手，而预训练模型可以适应各种自然语言生成任务。Llama 3.1模型集合还支持利用其模型输出来改进其他模型，包括合成数据生成和模型蒸馏。

违反使用法律法规、被使用政策和Llama 3.1社区许可证禁止、支持语言之外的使用，都属于超出范围。

并且团队强调，除了支持的8种语言，Llama 3.1在更广泛的语言集合上进行了训练。开发者对其进行微调，就可以在其他语言上适用，前提是遵守社区许可证等政策，并保证使用是安全和负责的。

3930万GPU小时训练

在预训练时，Meta使用了定制的训练库、Meta定制的GPU集群和生产基础设施。微调、注释和评估也都是在生产基础设施上进行的。

训练累计使用了3930万GPU小时的计算时间，硬件类型为H100-80GB（TDP为700W）。

训练时间是训练每个模型所需的总GPU时间，功耗是每个GPU设备的峰值功率容量，根据功率使用效率进行了调整。

训练的总位置基温室气体排放估计为11,390吨二氧化碳当量（CO2eq）。

Meta强调，自2020年以来，自己一直保持着净零的温室气体排放，并且100%的电力都是由可再生资源生成的，因此基于市场基准的总温室气体排放为0吨二氧化碳当量。

重大风险

在重大风险上，Meta也做了测试。

包括CBRNE（化学、生物、放射性、核和爆炸材料）有用性、儿童安全和网络攻击。

在网络攻击上，团队调查了LLMs是否可以提高人类在黑客任务中的能力，包括技能水平和速度。

研究重点在评估LLMs在网络攻击行动中用作自主Agent的能力，特别是被勒索软件攻击时。

主要目标就是评估这些模型是否能在没有人为干预的情况下，有效地作为独立Agent执行复杂的网络攻击。

网友炸锅，再一次见证历史

磁力链放出后，迫不及待的网友直接开始下载，不过这可能需要等待很久。

一部分网友开始坐等Llama 3.1 405B明天发布，再一次见证历史！

开源模型与闭源模型的差距，再次缩小了。

还有人测试了「9.11和9.9谁大」的经典陷阱题，Llama 3.1-405B竟答对了。

对于「GPU穷人」来说，820GB在笔记本上运行实在是太勉强了。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

AIGC莹子
关注
LLM：使用SWIFT框架进行 自我认知微调
微风❤水墨
02-23 985
如果设置了self_cognition_sample，则调用add_self_cognition_dataset。3：生成self_cognition_sample个随机索引。5：将自我认知数据和其他训练数据拼接到一起，作为最终训练数据。1：加载本地的self_cognition.jsonl数据。2：替换name与author。4：根据索引生成自我认知数据集。
开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 2万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
【LLM大模型】介绍一个大语言模型的微调框架Swift
2301_81940605的博客
07-18 870
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
大模型管理工具：SWIFT
m0_37559973的博客
05-13 3567
SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具，支持200+大模型、15+多模态大模型以及10+轻量化Tuners，让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。
LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-28 2922
​ LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略 目录 SWIFT的简介 SWIFT的安装和使用方法 SWIFT的案例应用 SWIFT的简介 SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)是一个用于微调的可伸缩轻量级基础设施的工具，支持近200种LLM和MLLM（多模
Swift大模型微调以及批量推理验证
2401_85375186的博客
06-07 1318
在深度学习和自然语言处理（NLP）领域，大规模语言模型如BERT、GPT-3等通过在大量数据上进行预训练获得了强大的语言理解和生成能力。这些预训练模型通常需要进行微调（Fine-tuning），以便在特定的下游任务上表现更好。微调可以采取不同的形式，包括full、LoRA和Q-LoRA。
IBM入局！任意大模型低成本变ChatGPT方法开源，个别任务超GPT-4
05-07
以开源羊驼LLaMA为基础模型，IBM训练出Dromedary（单峰骆驼），在TruthfulQA数据集上甚至取得超越GPT-4的成绩。 参加这项工作的除了IBM研究院MIT-IBM Watson AI Lab，还有CMU LIT（语言技术研究所），以及马萨诸塞...
深度解析Meta Llama 3.1-405B AI模型：多项跑分超越GPT-4o，未来前景与挑战并存
m0_57781768的博客
07-25 210
在当前的人工智能（AI）领域，Meta推出的Llama 3.1-405B AI模型无疑引起了广泛的关注。作为一款开源的超大规模语言模型，Llama 3.1-405B不仅在多项评测任务上超越了GPT-4o，还带来了全新的技术视角和挑战。本文将详细解析Llama 3.1-405B的优势和不足，探讨其未来的应用前景与挑战，并结合实际案例和代码示例，深入剖析这款模型的技术细节。
爆了，Llama 3.5 405B 爆超GPT-4o，参数直接飙到405B,开源终于战胜了闭源大模型GPT-4o
周红伟讲AI
07-26 1171
并且 Llama 3.1 405B 在 ZeroSCROLLS/QUALITY 基准测试的得分为 95.2，也意味着其具有强大整合大量文本信息的能力，这些结果表明，LLaMA3.1 405B 模型在处理长文本方面出色，对于关注 LLM 在 RAG 方面性能的 AI 应用开发者来说，可谓是相当友好。而在「我一把把把住了」的拼音标注上，其表现也尚可。简单来说，最新发布的 Llama 3.1 405B 是 Meta 迄今为止最强大的模型，也是全球目前最强大的开源大模型，更是全球最强的大模型。
Llama3.1以405B参数领先GPT-4o
百态老人的博客
07-25 1612
Llama3.1以405B参数规模领先GPT-4o，并在多项基准测试中展现出强大的性能，尤其是在通用常识、可操纵性、数学、工具使用和多语言翻译等方面。
SWIFT:让大模型微调变得简单高效
步子哥的博客
08-03 598
SWIFT的出现,无疑为大模型的定制化应用铺平了道路。它集成了当前最先进的训练技术,提供了全面的模型支持,同时保持了简单易用的特性。无论是初学者还是经验丰富的AI研究人员,都能在SWIFT中找到适合自己的工具。随着AI技术的不断发展,像SWIFT这样的开源框架将发挥越来越重要的作用。它不仅推动了技术的民主化,也为AI创新提供了重要的基础设施支持。可以预见,在SWIFT的助力下,更多创新的AI应用将会涌现,为各行各业带来新的机遇和变革。
【大模型微调】SWIFT：一种可扩展的轻量级基础设施用于微调
数智笔记
08-13 1268
最近在大型语言模型（LLMs）和多模态大型语言模型（MLLMs）方面的发展，利用基于注意力的Transformer架构，实现了卓越的性能和泛化能力。它们已经涵盖了传统学习任务的许多领域。例如，基于文本的任务，如文本分类和序列标注，以及以前使用不同模型解决的多模态任务，如视觉问答（VQA）和光学字符识别（OCR），现在可以基于一个基础模型处理。因此，LLMs和MLLMs，尤其是基于Transformer架构的模型的训练和轻量级微调，变得尤为重要。
swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
AI相关从业分享
07-10 3284
微调框架：swift微调模型：internvl-chat-v1_5微调任务：多模态大模型在指定任务上的OCR能力微调优化微调显存：55G，多batch时对单卡要求较高（4090不能满足需求）
swift微调款框架使用自定义数据集进行通义千问1.5的微调
最新发布
Climbman的博客
08-20 479
通义千问（T2IQA）是一个基于Transformer架构的问答系统，本文将介绍如何使用自定义数据集对Swift语言版本的通义千问进行微调，以适应特定的问题和领域。答：选择合适的超参数是微调过程中的一个重要步骤，可以根据经验和实验结果来选择超参数，也可以使用网格搜索等方法进行超参数调优，以获得最佳的微调效果。2、准备自定义数据集：收集与所需领域相关的问题和对应的正确答案，并将其整理成适合训练的形式，确保数据集的质量和多样性，以提高微调的效果。swift微调款框架使用自定义数据集进行通义千问1.5的微调。
利用swift框架微调面壁小钢炮2.0
weixin_51074012的博客
07-01 1549
【代码】利用swift框架微调面壁小钢炮2.0。
swift 框架大全
2401_84153177的博客
05-14 756
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！
基于SWIFT框架的Phi-3推理、微调实战教程
IT大头的博客
05-07 1445
近期， Microsoft 推出 Phi-3，这是 Microsoft 开发的一系列开放式 AI 模型。Phi-3 模型是一个功能，在各种语言、推理、编码和数学基准测试中，在同级别参数模型中性能表现优秀。为开发者构建生成式人工智能应用程序时提供了更多实用的选择。从今天开始，（参数量3.8B）发布，可在魔搭社区上下载使用：Phi-3-mini 有两种上下文长度变体 - 4K 和 128K 令牌，支持128K 个令牌的上下文窗口的模型。
SWIFT环境配置及大模型微调实践
weixin_43870390的博客
03-20 992
SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFT大模型微调实践 SWIFT介绍参考：balabala SWIFT环境配置 基础配置 conda create -n swift python=3.8 pip install ms-swift[all] -U # 下载项目 git clone https://github.com/modelscope/swift 增量配置 如果是运行qwen-audio，需要安装ffmpeg apt-get update apt-get in
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
丨汀、的博客
05-28 1068
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
微软GPT-4助力大模型指令微调与性能提升
资源摘要信息:"首次：微软用GPT-4做大模型指令微调，新任务零样本性能再提升" 知识点概览: 1. GPT-4技术介绍及应用 2. 大模型指令微调技术及其重要性 3. 指令微调的两种实现方式 4. Self-Instruct微调方法 5. LLaMA...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值