LLaMA3.1为什么选择405B作为最大参数量？

趁着心情不错的三分钟热血读一读llama3.1 report的3.2.1章节。llama3.1的report目前发现3处数值错误或逻辑错误的描述，读的时候需要仔细一点。错误的地方写到再说。

省流

最大参数量由GPU集群的计算能力（GPU的型号选择H100，则计算能力只取决于GPU的数量。计算能力在文章中使用Compute budgets表示）、可使用tokens的数量和Scaling law三者共同决定。

Meta这次拿出了3.8x10^25FLOPS 的Compute budgets和15-17T 的高质量清洗tokens，根据Scaling law 则模型的最佳参数量在400B左右。

不省流版

1、确定目标：想要得到参数量值，需要先拿到最佳tokens数

在启动一个训练任务之前，GPU的数量肯定是确定的，那么根据公式（2）想要得到最佳参数量 𝑀 ，我们还差一个𝐷 也就是可供使用的tokens的数量。

2、寻找Compute budgets、tokens数量、loss值、模型参数量之间的关系

既然目前能确定的参数是Compute budgets，而且从主观判断上Compute budgets和tokens数量肯定也是存在某种关联的，有更大的Compute budgets就能训练更多的数据。

那么力大砖飞，将Compute budgets、tokens数量、loss值、模型参数量这4个参数在一个设定的范围内全部实验一遍，自然就能看出一些规律了。

这项实验在report的Figure2和Figure3中呈现。meta真是豪气啊，这得花多少电费。

原文Figure2和Figure3

左侧Figure 2：Scaling law IsoFLOPs curves是一个工作量很大、成本很高的实验的结果展示。不同曲线的颜色代表不同的Compute budgets，范围从6x10^18到1x1022 FLOPs，横坐标为tokens的数量，纵坐标是在validation set上计算的negative loglikelihood loss值。

注意，除了上述提到的三个维度的数据，Figure2还有一个维度的隐藏数据，针对每条Compute budgets随tokens变化的曲线，是由公式（2）Scaling law产生的，即固定Compute budgets，模型参数在40M到16B的范围内配合对应的tokens计算loss值。

接下来缩减数据的维度，提炼出想要的数据。

3、归纳tokens数量与Compute budgets之间的确定性换算

别忘了，这个实验最终想要的数据是Compute budgets和tokens之间的关系。那么就需要逐渐缩减数据的维度，首先缩减Compute budgets维度，就用每条Compute budgets曲线中loss最低值处代表此条Compute budgets对应的最佳tokens位置。

老实说，上面这段思维的转换才是最牛的，其余的最终结果、公式系数归纳什么的一点都不难。

好了，loss和参数量两个数据维度**已经被剔除，把剩下的Compute budgets和tokens数拿出来做成Figure3，可以看到是一个大致的线性关系（与主观上的感受是相同的）。

这里有一个数学上的经验，虽然大体上是线性关系，但线性关系表达规律的能力较弱，这里使用了幂律分布，即假定了公式（1）然后带入数个Compute budgets和tokens数据对，最终得到待定的两个系数** 𝐴 和 α 分别等于0.29和0.53。

有个坑啊，有个坑，0.29和0.53是个四舍五入值，直接使用这两个数带入计算是得不到具体值的。你看Figure3中这两个值是0.299和0.537。但0.299和0.537也不是最终的准确值，使用它们计算出来的结果是16.29T tokens，而文章中给出的是16.55T tokens。

4、最终确认参数量为405B

好了，要想尽可能的利用这3.8x10^25FLOPS的计算能力，需要16.55T tokens。

这里需要额外注意，Figure2中Compute budgets曲线从左上角到右下角的曲率是逐渐趋于平缓的，Compute budgets和tokens数之间的平衡中，Compute budgets可以相对较大些。主观上也是可以这样认同的，即算力大于tokens数，学习能力大一些，多学几遍数据，hhhh，话糙理不糙。

最终meta清洗得到了15.6T的tokens，带入公式(2)，则最终得到最佳参数量为405B。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​