BLOOM 训练背后的技术

于 2023-03-21 18:00:41 发布
阅读量434 收藏 4
点赞数
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuggingFace/article/details/129701127
版权
本文介绍了训练1760亿参数的语言模型BLOOM时涉及的硬件配置、软件框架和并行计算技术，包括数据并行、张量并行、流水线并行以及3D并行的实现，强调了BF16优化器和CUDA融合核函数在训练过程中的作用，同时也分享了训练过程中遇到的挑战和解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

❝

假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。

近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息未被公开以供研究，但很少关注大模型训练技术这种背后的知识。本文旨在以 1760 亿参数的语言模型 BLOOM 为例，阐明训练此类模型背后的软硬件工程和技术要点，以促进大家对大模型训练技术的讨论。

  • BLOOM 文档链接:
    https://hf.co/bigscience/bloom

首先，我们要感谢促成或赞助我们这个小组最终完成了训练 1760 亿参数模型这一惊人壮举的公司、个人和团体。

然后，我们开始讨论硬件配置和主要技术组件。

bbf6546f8a9161173c949808201ee53f.png
BLOOM

以下是对本项目的简要总结:
硬件 384 张 80GB A100 GPU
软件 Megatron-DeepSpeed
模型架构 基于 GPT3
数据集 含 59 种语言，共 3500 亿词元
训练时长 3.5 个月

人员组成

该项目由 Thomas Wolf (Hugging Face 联合创始人兼 CSO) 发想，他敢于与大公司竞争，提出不仅要训练出立于世界上最大的多语言模型之林的模型，还要让所有人都可以公开访问训练结果，圆了大多数人的梦想。

本文主要关注模型训练的工程方面。BLOOM 背后的技术中最重要的部分是分享专业知识并帮助我们进行编码和训练的人员和公司。

我们主要需要感谢 6 个群体:

  1. HuggingFace 的 BigScience 团队投入了六名以上的全职员工全程参与了训练的研究和运行，他们还提供或报销了 Jean Zay 计算机之外的所有基础设施。

  2. Microsoft DeepSpeed 团队，开发了 DeepSpeed，后来将其与 Megatron-LM 集成，其开发人员花费数周时间研究项目需求，并在训练前和训练期间提供了许多很棒的实用经验建议。

  3. NVIDIA Megatron-LM 团队开发了 Megatron-LM，他们非常乐于回答我们的大量问题并提供一流的使用建议。

  4. IDRIS / GENCI 团队管理着 Jean Zay 超级计算机，他们为该项目捐赠了大量的算力和强大的系统管理支持。

  5. PyTorch 团队创建了一个超强的框架，其余软件都基于该框架，并且在准备训练期间非常支持我们，修复了多个 bug 并提高了我们所依赖的 PyTorch 组件的训练可用性。

  6. BigScience 工程工作组志愿者 很难说出所有为该项目的工程方面做出贡献的杰出人物的名字，所以我只列举 Hugging Face 之外的几个关键人物，他们在过去 14 个月中为该项目奠定了工程基础: 

    Olatunji Ruwase、Deepak Narayanan、Jeff Rasley、Jared Casper、Samyam Rajbhandari 和 Rémi Lacroix

我们也感谢所有允许其员工为该项目做出贡献的公司。

概述

BLOOM 的模型架构与 GPT3 非常相似，只是增加了一些改进，本文稍后将对此进行讨论。

该模型是在 Jean Zay 上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心 IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。

训练硬件:

  • GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU

  • 每个节点 8 张 GPU，4 条 NVLink 卡间互联，4 条 OmniPath 链路

  • CPU: AMD EPYC 7543 32 核处理器

  • CPU 内存: 每个节点 512GB

  • GPU 显存: 每个节点 640GB

  • 节点间连接: 使用 Omni-Path Architecture (OPA) 网卡，网络拓扑为无阻塞胖树

  • NCCL - 通信网络: 一个完全专用的子网

  • 磁盘 IO 网络: GPFS 与其他节点和用户共享

Checkpoints:

  • 主 checkpoints
    https://hf.co/bigscience/bloom

  • 每个 checkpoint 含精度为 fp32 的优化器状态和精度为 bf16+fp32 的权重，占用存储空间为 2.3TB。如只保存 bf16 的权重，则仅占用 329GB 的存储空间。

数据集:

  • 1.5TB 经过大量去重和清洗的文本，包含 46 种语言，最终转换为 350B 个词元

  • 模型的词汇表含 250,680 个词元

  • 更详细信息，请参阅 The BigScience Corpus A 1.6TB Composite Multilingual Dataset
    https://openreview.net/forum?id=UoEw6KigkUn

176B BLOOM 模型的训练于 2022 年 3 月至 7 月期间，耗时约 3.5 个月完成 (约 100 万计算时)。

Megatron-DeepSpeed

176B BLOOM 模型使用 Megatron-DeepSpeed 进行训练，它结合了两种主要技术:

  • Megatron-DeepSpeed:
    https://github.com/bigscience-workshop/Megatron-DeepSpeed

  • DeepSpeed 是一个深度学习优化库，让分布式训练变得简单、高效且有效。
    https://github.com/microsoft/DeepSpeed

  • Megatron-LM 是由 NVIDIA 的应用深度学习研究团队开发的大型、强大的 transformer 模型框架。
    https://github.com/NVIDIA/Megatron-LM

DeepSpeed 团队通过将 DeepSpeed 库中的 ZeRO 分片和流水线并行 (Pipeline Parallelism) 与 Megatron-LM 中的张量并行 (Tensor Parallelism) 相结合，开发了一种基于 3D 并行的方案。有关每个组件的更多详细信息，请参见下表。

请注意，BigScience 的 Megatron-DeepSpeed 是基于原始 Megatron-DeepSpeed 代码库，我们还在其上添加了不少代码。

  • BigScience 的 Megatron-DeepSpeed:
    https://github.com/bigscience-workshop/Megatron-DeepSpeed

  • 原版的 Megatron-DeepSpeed:
    https://github.com/microsoft/Megatron-DeepSpeed

下表列出了我们在训练 BLOOM 时各采用了两个框架的哪些组件:

组件 DeepSpeed Megatron-LM
ZeRO 数据并行 是
张量并行
是
流水线并行 是
BF16 优化器 是
CUDA 融合核函数
是
数据加载器
是

请注意，Megatron-LM 和 DeepSpeed 都有流水线并行和 BF16 优化器实现，但我们使用 DeepSpeed 的实现，因为它们集成进了 ZeRO。

Megatron-DeepSpeed 实现了 3D 并行以允许大模型以非常有效的方式进行训练。我们简要讨论一下有哪些 3D 组件。

  1. 数据并行 (Data Parallelism，DP) - 相同的设置和模型被复制多份，每份每次都被馈送不同的一份数据。处理是并行完成的，所有份在每个训练步结束时同步。

  2. 张量并行 (Tensor Para

最低0.47元/天 解锁文章
Hugging Face
关注
博客
大模型评估排障指南 | 关于推理
04-24 733
即在 layer 级拆分模型，不同的 layer 被分配到不同的 GPU 上。由于推理时前向过程是线性的，例如 layer 1 的输出是 layer 2 的输入，因此 layer 2 分配的 GPU 需要等待 layer 1 的计算结束才能开始 (也叫 “冒泡 (bubble)”)，同时数据和中间结果也需要 GPU 间传输，这也就导致执行速度较慢。更一般地，确保输入模型的样本的上下文大小是按从大到小的顺序，这样如果上下文大小过大，模型就会直接报错，避免了模型一开始正常运行，直到某个时间才出问题。
博客
让 LLM 来评判 | 技巧与提示
04-09 597
例如，成对比较模型的训练集数据格式中提供了参考答案，如果在评估时没有给定参考答案或者给定的参考答案格式有误，那么评估结果就不可信。例如在某些特定领域 (如医学、法律、数学等)，如果标注员专业性不够，那么得到的结果可能跟直接采用 LLM 一样差。：同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。例如对于施加了相同程度噪声的文本，使用评估模型评估文本质量的评分无法反映噪声的程度。缓解措施：仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。
博客
Open R1 项目进展第三期
04-03 559
虽然最终子任务通常是完整问题，但其他大多数子任务往往是难度较低的问题，参赛者可以选择解决部分子任务以获得部分分数，而不是尝试完美解决完整问题 (完美得分非常罕见)。虽然我们计划未来通过模型生成并验证更多具有挑战性的测试用例，添加到我们的 CodeForces 数据集中，但目前我们转向了其他地方寻找完整可用的题目数据。具体来说，我们先提交针对问题最后一个子任务的解决方案，然后依次提交针对倒数第二个、第三个子任务的代码，同时跳过已解决的子任务。不过不管怎样，我们试过的所有数据集里，打包的表现都不如不打包。
博客
Open R1 项目进展第二期
03-31 1050
虽然我们升级了 Math-Verify，让它能更好地处理这些怪格式 (后面会讲改进)，但还是找了个备用方案: 用 Llama-3.3-70B-Instruct 当“裁判”，从被拒的答案里救回一些靠谱的。DeepSeek 团队生成了 60 万条推理记录，用来微调 Qwen 和 Llama 系列模型，结果证明，不用强化学习，直接从 R1 “蒸馏”出来的效果也很棒。除此之外，我们还聊聊社区里一些让人兴奋的进展，比如怎么整理出小而精的高质量数据集来微调模型，以及如何在训练和推理时控制推理模型的“思考步数”。
博客
Open R1 项目进展第一期
03-28 944
但效果不好，吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快就满了。DeepSeek R1 发布已经两周了，而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。我们这才刚起步呢，打算把训练流程弄完，在小模型上试试，再用放大版的推理流程搞出高质量的数据集。虽然大家还在研究 DeepSeek-R1 的成果和报告，但这款模型在发布短短两周后，就已经火遍了大街小巷，吸引了无数目光。: 一个超棒的合成推理数据集，有 114k 个例子，数学、科学、代码、谜题啥都有。
博客
为什么 AI 模型离科学革命还差得很远？
03-26 924
文章的核心观点是，在未来一两年内，我们将拥有一个“装在数据中心里的爱因斯坦之国”，所有 21 世纪的科学发现将在短短 5 到 10 年内被一股脑地完成，从而压缩了整个世纪的科技进程。现在，我们评估 AI 模型智能提升的方式，大多是通过一些“高难度考试题”，比如所谓的“人类的最后一场考试”或 “Frontier Math”，这些测试由博士生设计，问题复杂但都是封闭式、明确有标准答案的题目。在我看来，按照当前的发展路径，我们真正可能得到的，是“一国的服务器上全是唯唯诺诺的好学生”，而不是爱因斯坦。
博客
常见的 AI 模型格式
03-25 783
GGUF 格式的 Llama-3.1 8B 模型示例，链接https://hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main。虽然也可以将其用于其他类型的模型，例如通过stable-diffusion.cpp实现的扩散模型，但这并不像在语言模型中的应用那样普遍。
博客
SmolVLM2: 让视频理解能力触手可及
03-21 895
模型与演示全集https://hf.co/collections/HuggingFaceTB/smolvlm2-smallest-video-lm-ever-67ab6b5e84bf8aaa60cb17c7。虽然属于实验性发布，但期待它能激发更多创新应用。微调笔记https://github.com/huggingface/smollm/blob/main/vision/finetuning/SmolVLM2_Video_FT.ipynb。我们推出三款新模型 (2.56 亿/5 亿/22 亿参数)。
博客
在 Hugging Face Spaces 上使用 Gradio 免费运行 ComfyUI 工作流
03-18 703
在本教程中，我将逐步指导如何将一个复杂的 ComfyUI 工作流转换为一个简单的 Gradio 应用程序，并讲解如何将其部署在 Hugging Face Spaces 的 ZeroGPU 无服务器架构上，这样可以让它以无服务器的方式免费部署和运行。不过，你可能需要根据本教程中学到的知识进行一些修正。虽然需要一些基础的编程知识，但我鼓励初学者尝试跟随本教程，因为它可以作为一个很好的 Python、Gradio 和 Hugging Face Spaces 的入门指南，不需要太多的编程经验。
博客
在 Hugging Face 上部署语音转语音模型
03-11 873
介绍S2S (语音到语音)是 Hugging Face 社区内存在的一个令人兴奋的新项目，它结合了多种先进的模型，创造出几乎天衣无缝的体验: 你输入语音，系统会用合成的声音进行回复。https://github.com/huggingface/speech-to-speech该项目利用 Hugging Face 社区中的 Transformers 库提供的模型实现了流水化处理。该流程处理由以下组件...
博客
LayerSkip: 使用自推测解码加速大模型推理
03-10 910
自推测解码是一种新颖的文本生成方法，它结合了推测解码 (Speculative Decoding) 的优势和大语言模型 (LLM) 的提前退出 (Early Exit) 机制。该方法出自论文LayerSkip: Enabling Early-Exit Inference and Self-Speculative Decoding。它通过使用 同一个模型 的早期层来生成候选词元 (token)，并使...
博客
从文件到块: 提高 Hugging Face 存储效率
03-03 693
Hugging Face 在Git LFS 仓库中存储了超过30 PB 的模型、数据集和 Spaces。由于 Git 在文件级别进行存储和版本控制，任何文件的修改都需要重新上传整个文件。这在 Hub 上会产生高昂的成本，因为平均每个 Parquet 和 CSV 文件大小在 200-300 MB 之间，Safetensor 文件约 1 GB，而 GGUF 文件甚至可能超过 8 GB。设想一下，仅仅修...
博客
让 LLM 来评判 | 设计你自己的评估 prompt
02-26 617
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示通用 prompt 设计建议我总结的互联网上通用 prompt 的通用设计原则如下:任务描述清晰:Your task is to do X (你的任务是 X).You will be provided with Y (你拿到的信息是 Y...
博客
AI 艺术工具通讯
02-20 960
创刊号 ????AI 领域的发展速度令人惊叹，回想一年前我们还在为生成正确手指数量的人像而苦苦挣扎的场景，恍如隔世 ????。过去两年对开源模型和艺术创作工具而言具有里程碑意义。创意表达的 AI 工具从未像现在这般触手可及，然而这仅仅是冰山一角。让我们共同回顾 2024 年 AI 艺术领域的关键突破与创新工具，并展望 2025 年的发展趋势 (剧透预警 ????: 我们将启动月度资讯精选的订阅????)。2024 重大发...
博客
让 LLM 来评判 | 奖励模型相关内容
02-14 552
这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是奖励模型？奖励模型通过学习人工标注的成对 prompt 数据来预测分数，优化目标是对齐人类偏好。训练完成后，奖励模型可以作为人工评估代理的奖励函数，用来改进其他模型。成对比较评分最常见的奖励模型类型是 Bradley-Terry ...
博客
让 LLM 来评判 | 评估你的评估结果
02-10 296
这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示在生产中或大规模使用 LLM 评估模型之前，你需要先评估它在目标任务的表现效果如何，确保它的评分跟期望的任务表现一致。注：如果评估模型的输出结果是二元分类，那么评估会相对简单，因为可使用的解释性分类指标有很多 (如准确率、召回率和精确率...
博客
让 LLM 来评判 | 选择 LLM 评估模型
01-14 638
这是 让 LLM 来评判 系列文章的第二篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示使用现有的 LLM 评估模型时，你可以选择：通用性强、能力高的大模型、专业性强、特定数据偏好的小模型、或自行训练模型。通用性强、能力高的大模型https://arxiv.org/abs/2306.05685v4专业性强、特定数据偏好的小...
博客
让 LLM 来评判 | 基础概念
01-10 643
这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章:基础概念选择 LLM 评估模型设计你自己的评估 prompt评估你的评估结果奖励模型相关内容技巧与提示什么是评估模型？评估模型 (Judge models) 是一种 用于评估其他神经网络的神经网络。大多数情况下它们用来评估生成文本的质量。评估模型涵盖的范围很广，从小型的特定分类器 (例如 “垃圾邮件分类器”) 到大型的 LLM，或大而广...
博客
自动评估基准 | 一些评估测试集
01-08 267
这是 自动评估基准 系列文章的第三篇，敬请关注系列文章:基础概念设计你的自动评估任务一些评估测试集技巧与提示如果你感兴趣的任务已经得到充分研究，很可能评估数据集已经存在了。下面列出了一些近年来开发构建的评估数据集。需要注意的是：大部分数据集有些 “过时”，因为它们是在 LLM 出现之前构建的，当时是为了评估语言文本的某个特定属性 (如翻译、摘要)，但是可能已经不适合现在的 LLM 评估方法了 (现...
博客
基于开放模型的推理时计算缩放
12-31 989
过去几年，大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效，但预训练更大模型所需的资源变得异常昂贵，数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣， 即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算，而是采用动态推理策略，让模型能够对难题进行“更长时间的思考”。最著名的案例是 OpenAI 的 o1 模型，随着推理时计算量的增加，该模...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值