​TinyLlama-1.1B：从零开始训练一个精悍的语言模型

TinyLlama 项目旨在在 3 万亿 tokens 上进行预训练，构建一个拥有 11 亿参数的 Llama 模型。经过精心优化，我们“仅”需 16 块 A100-40G 的 GPU，便可在 90 天内完成这个任务🚀🚀。模型训练已于 2023-09-01 开始，目前还在训练中。

我们采用了与 Llama 2 完全相同的架构和分词器。这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外，TinyLlama 只有 1.1B 的参数，体积小巧，适用于需要限制计算和内存占用的多种应用。

背景与动机

1.1 从Llama 1/2 中的一些观察开始

以上是从 Llama 2 论文中摘取的训练损失曲线。他们论文中提到即使在对 2 万亿个 token 进行预训练后，模型仍然没有显示出任何饱和迹象。这意味着 Llama 2 的训练可以继续下去，而且还有较大的提升空间。这与之前 Chinchilla Scaling Law 的预期非常不一样（Chinchilla Scaling Law 认为 7B 的模型最优的训练 token 数量是 140B 左右）。

上图是一位 reddit 网友 [1] 分析的 llama2 不同大小模型的训练花费 v.s. Perplexity 的数据，从图中其实也可以观察到，很多情况下，更小的模型达到相同的 Perplexity 所需要的花费反而更小，这更坚定了我们的想法：我们可以在更多的数据上面训练更小的模型。

1.2 为什么要训练更小的Llama模型

• 最近大热的模型推理加速算法 speculative decoding 需要一个小模型来辅助对大模型的加速，Llama2 最小的模型就是 7B 了，但我们认为用一个更小的模型作为 speculator 可以让 speculative decoding 更加实用。（注：此方法要求大小模型的 tokenizer 保持一致，所以 Pythia 等最近相对热门的小模型没法作为 Llama2 的 speculator，而 TinyLlama 可以）

• 更小的模型可以在更多的场景下使用，比如在手机上离线运行，TinyLlama-1.1B 经过 4-bit 量化的模型权重只需要 550MB 的内存。

• 可能可以用在大型单机游戏里面，因为这种场景下必须留足够的显存给游戏本身，所以模型要尽可能的小。

发布时间表和训练细节

我们会根据以下计划逐步发布中间 checkpoint。我们也列了一些基线模型进行比较。

从上面可以看出，TinyLlama 目前的进展非常好🎉🎉。

你也可以在这里 [6] 实时跟踪 TinyLlama 的训练损失。

以下是我们训练设置的一些细节：

速度&显存占用

我们的代码库支持以下特性：

• multi-gpu and multi-node distributed training with FSDP.

• flash attention 2.

• fused layernorm.

• fused swiglu.

• fused cross entropy loss .

• fused rotary positional embedding.

有了这些优化, 我们可以达到 24k tokens/秒/A100 的训练速度，也就是 56% 的 MFU（在 A100-80G 上的 MFU 会更高）。这个速度可以让你可以在 8 个 A100 上用 32 小时训练一个 chinchilla-optimial 的模型（11 亿参数，220 亿token）。

这些优化也大大减少了显存占用, 我们可以把 11 亿参数的模型塞入 40GB 的 GPU 里面还能同时维持 16k tokens 的 per-gpu batch size。只需要把 batch size 改小一点， 你就可以在 RTX 3090/4090 上面训练 TinyLlama。下面是我们的代码库与 Pythia 和 MPT 的训练速度的比较。

▲ Pythia 的数字来自他们的论文。MPT 的数字来自这里 [9]，作者说 MPT-1.3B“was trained on 440 A100-40GBs for about half a day”on 200B tokens。

TinyLlama 是一个相对较小的模型, 同时我们用了 GQA，这意味着它在推理期间也很快。以下是我们测量的一些推理速度：

代码链接

我们的代码可以给初学者做一个入门预训练的简洁参考（3090/4090 能跑，一共就十多个.py文件）。虽然如今预训练比较通用的框架中 Megatron-LM 占据了半壁江山，但是对于小白来说实在上手难度太大了。而我们 TinyLlama 对于小实验室来说也相当友好。不要 999，也不用 99，只需要 16 张 A100 就可以在一个月左右让 LLama 1.1B 的模型完成预训练 （1T token）。

基于这个代码库， 我们公布了 TinyLlama 计划，目标在 90 天里用 16 个 A100 在 3 万亿 token 上训练一个 1.1B 的 TinyLlama，同时我们的代码库提供了一些预训练优化的同时保持了简洁性，3090/4090 可训练，不失为新手入门预训练的好选择。

https://github.com/jzhang38/TinyLlama

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】