float32 float16 bfloat16 推理训练GPU速度和内存调研

已于 2024-03-11 16:50:10 修改
阅读量1.5k 收藏 8
点赞数 5
文章标签： 人工智能 深度学习
于 2024-03-11 16:49:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linzhiji/article/details/136627973
版权
本文探讨了如何通过使用混合精度技术，如bfloat16，来优化大型语言模型的训练和推理过程，以减少GPU显存占用。然而，bfloat16并非所有显卡支持，且在某些模型中可能牺牲部分推理速度。LLaMa模型是实例，展示了这种优化策略的时间与空间权衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

概念：

参考：Accelerating Large Language Models with Mixed-Precision Techniques - Lightning AI

3种数量类型表示的数据范围不一样，以float32为例其中有1个符号位，8位表示指数，23位表示尾数

标准训练推理是用的float32，但是占用GPU显存太大，所以优化的方向就是一般就是，时间换空间或者是减少float32位精度。

需要特别说的是，bfloat16 是nvidia 提出的数据类型，不是所有显卡都支持，像3080,3090之后的显卡都ok

推理速度和显存占用

不同模型不一样，以LLaMa为例。时间换空间，显存占用减少了，推理时间增加了，很合理

参考：Accelerating Large Language Models with Mixed-Precision Techniques - Lightning AI

Lightning-AI

参考 bfloat16 running 4x slower than fp32 (conv) · Issue #11933 · Lightning-AI/pytorch-lightning · GitHub

linzhiji
关注
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
herosunly的博客
05-03 21万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
pytorch 38 对tensorRT、openvino、onnxruntime（fp32、fp16）推理速度进行对比
a486259的博客
04-17 4790
tensorRT与openvino部署模型有必要么？本博文对tensorRT、openvino、onnxruntime推理速度进行对比，分别在vgg16、resnet50、efficientnet_b1和cspdarknet53四个模型进行进行实验，对于openvino和onnxruntime还进行了cpu下的推理对比。对比囊括了fp32、fp16两种情况。在float32下通过实验得出：openvino GPU < onnxruntime CPU
深入理解浮点数：单精度、双精度、半精度和BFloat16详解
Xtaiyang的博客
02-05 3671
在计算机世界中，浮点数就像是数字世界的"小数点专家"！今天，让我们一起深入探索四种重要的浮点数表示格式，看看它们各自的特点和应用场景。
BFloat16精度
lbai7134的博客
12-06 4097
BF16
字节大模型岗面试：BF16为什么比FP16更适合大模型训练？
最新发布
2301_78285120的博客
03-09 1436
随着DeepSeek爆火，面试中也越来越高频出现，因此训练营也更新了DeepSeek系列技术的深入拆解。包括MLA、MTP、专家负载均衡、FP8混合精度训练，Dual-Pipe等关键技术，力求做到全网最硬核的解析~本篇文章主要对训练 LLM 以及部署应用时的精度问题进行了一些探讨和实践，读过后应该会对常用的浮点数 FP16，FP32，BF16 有一个更好的理解~
深度学习与bfloat16（BF16）
鱼落池中
08-07 9536
Deep learning has spurred interest in novel floating point formats. Algorithms often don’t need as much precision as standard IEEE-754 doubles or even single precision floats. Lower precision makes it possible to hold more numbers in memory, reducing the t
tf.to_bfloat16
weixin_36670529的博客
10-06 732
tf.to_bfloat16( x, name='ToBFloat16' ) 将张量强制转换为bfloat16类型。 参数: x: 张量或稀疏张量。 name: 操作的名称(可选)。 返回值: 与x形状相同的张量或稀疏张量，类型为bfloat16。 异常: TypeError: If x cannot be cast to the bfloat16. 原...
[通俗易懂]float32、float16、bfloat16之间的差异
a61022706的博客
01-03 1万+
qlora一般用bfloat16的精度类型进行训练，然而支持bfloat16精度往往需要V100以上的卡（不包括V100）。可惜本人服务器上只有V100类型的卡，想要使用qlora进行训练需要把精度改为float16。指的是使用FP32作为主权重，而在进行前向和后向传播时使用FP16/BF16来提升训练速度，最后在梯度更新阶段再使用FP16/BF16梯度更新FP32主权重。不同的浮点数据类型：float32、float16、bfloat16等，可以称之为精度，而模型大小 = 模型参数量x精度。
如何估算LLM推理和训练所需的GPU内存？
u012374012的专栏
08-27 1255
在本文中，我们介绍的评估方法，都是基于Transformer架构推算的，该评估方法不适合Transformer以外的其他体系结构。同时，目前存在大量的框架、模型和优化技术，估计运行大型语言模型的确切内存可能很困难。然而，本文可作为估计执行 LLM 推理和训练所需内存资源的起点。
大模型训练和推理阶段的内存消耗估计
xiaoxiaoyu290的博客
05-05 2282
本文以Mixtral-8x22B为例来介绍各个阶段的内存消耗以及推理和训练时的内存消耗。
如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）
黎国溥
09-10 7584
在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。
Pytorch amp(混合精度)的bfloat16和float16
hxxjxw的博客
03-30 4258
bfloat16 格式使用 16 位表示浮点数，其中 1 位用于符号，8 位用于指数，7 位用于尾数。float16 格式使用 16 位表示浮点数，其中 1 位用于符号，5 位用于指数，10 位用于尾数。bfloat16 的表示范围比 float16 更广，但是精度更低。
bfloat16 与float16的区别
NLP与推荐算法
08-27 1702
大模型的精度影响范围
bfloat16与float8、float16、float32的区别
关于我的学习记录
10-23 1992
bfloat16是一种浮点数数据类型，全称是。它是一种 16 位的浮点数格式，专为提高计算性能而设计，特别是在机器学习、深度学习中的加速训练过程中有广泛应用。与标准的 16 位浮点数（float16）相比，bfloat16在表示数值范围上做了一些权衡。它保留了和 32 位浮点数（float32）相同的指数范围，但精度较低。
bfloat16在tensorflow里到底是个啥
weixin_47491668的博客
04-27 4083
前言 最近在学tensorflow，看见里面有一个bfloat16，但这个玩意似乎没人用过，常见的是float32/float64，看谷歌的官方文案介绍说这个东西是float32的截取前16位的版本，但更细的也没多说，只能自己爬咯 bfloat的优点 这张图可以几乎概括bfloat的最大优点，牺牲精度获取范围，与float16相比，befloat16更多的exponent使其范围比float16更加优秀，但较少的fraction使其精度不佳，这个时候肯定有人在想，既然这样，我能不能自定义一下float的
bfloat16（BF16）和 float16（FP16）有什么区别？中英双语解释
阿正的梦工坊
11-29 7080
BF16 offers a larger numerical range and is specifically optimized for deep learning tasks that require handling large gradients and weights.
有关于pytorch单精度bfloat16位
热门推荐
weixin_43301333的博客
10-15 1万+
BF16是brain float的简称（来源于google brain）。不同于普通的单精度浮点数FP16(i.e., torch.float16)，BF16是介于FP16和FP32之间的一种浮点数格式。BF16的指数位比FP16多，跟FP32一样，不过小数位比较少。即，BF16尝试采用牺牲精度的方法，来换取更大的数值空间。
bfloat16和float16 的区别和联系以及训练过程中如何选择
陈开心的博客
02-06 1551
bfloat16（Brain Floating Point 16）和float16（半精度浮点数）都是，它们的主要作用是和，特别适用于深度学习中的大规模模型训练。尽管它们都属于 16 位格式，但在等方面存在关键差异。下面我用简单的方式解释它们的区别和联系。🚀。
BF16和FP16对比
hellochenlian的专栏
07-30 1万+
BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。FP16半精度浮点数，用5bit 表示指数，10bit 表示小数与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以减半。但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；FP16 表示整数范围较小，但是尾数精度较高。IEEE 浮点运算标准的 2008 年修订版引入了半精度 16 位浮点格式（称为 fp16）作为存储格式。
在NVIDIA A100 GPU上，如何利用CUTLASS库优化矩阵运算以获得最佳性能？请结合Bfloat16和TensorFloat32数据类型给出具体实现方法。
11-01
在追求高性能计算的今天，了解如何利用NVIDIA A100 GPU上的CUTLASS库来优化矩阵运算至关重要。为了帮助你掌握这一技能，我推荐你阅读《NVIDIA A100 Tensor Cores优化策略：加速矩阵运算与高效数据移动》。这篇文章详细介绍了如何在NVIDIA Ampere架构下，特别是针对A100 GPU，实现高效的矩阵运算和数据移动优化。 参考资源链接：[NVIDIA A100 Tensor Cores优化策略：加速矩阵运算与高效数据移动](https://wenku.csdn.net/doc/2e7vrasj3u?spm=1055.2569.3001.10343) 首先，要充分利用NVIDIA A100 GPU的Tensor Cores，需要明确它们在不同数据类型上的性能优势。例如，Tensor Cores在处理Bfloat16数据类型时，能够在保持高精度的同时显著提升性能，这是因为Bfloat16提供了接近IEEE单精度浮点数（F32）的精度，同时具有较小的存储需求和更快的计算速度。 TensorFloat32是一种专为NVIDIA Ampere架构设计的混合精度格式，它允许开发者在训练和推理中实现更高的性能和精度。它结合了F32的精度和F16的存储优势，是一种更加灵活的数据类型。 在实际编程中，可以利用CUTLASS提供的模板和算法来针对这些数据类型进行优化。例如，使用cutlass::gemm::DeviceGemm所提供的模板，可以编写支持Bfloat16和TensorFloat32的矩阵乘法算法。这些模板函数允许开发者为特定的GPU架构和数据类型配置参数，包括但不限于矩阵大小、步长和是否使用共享内存等。 除此之外，CUTLASS还提供了丰富的数据移动策略，以确保数据能够高效地在GPU的不同内存层级之间传输。优化数据传输和内存布局是提高Tensor Core利用率的关键。例如，通过预先分配和管理内存、优化全局内存访问模式和使用异步复制技术，可以减少内存访问的延迟和带宽限制。 为了获得最佳性能，还应当考虑算法的并行化程度，以及如何将计算任务与数据传输任务合理地交织起来，利用GPU的执行单元达到最大化利用率。 在你掌握了这些知识后，结合《NVIDIA A100 Tensor Cores优化策略：加速矩阵运算与高效数据移动》中的示例和最佳实践，你将能够在实际开发中针对NVIDIA A100 GPU优化矩阵运算，实现显著的性能提升。 参考资源链接：[NVIDIA A100 Tensor Cores优化策略：加速矩阵运算与高效数据移动](https://wenku.csdn.net/doc/2e7vrasj3u?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值