FP16与BF16区别

最新推荐文章于 2024-06-07 18:28:24 发布
最新推荐文章于 2024-06-07 18:28:24 发布
阅读量814 收藏 6
点赞数 4
分类专栏： 深度学习 文章标签： FP16 BF16
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/transformer_WSZ/article/details/138470341
版权

16

二者都是占用16bit空间。

  • FP16由1个符号位、5个指数位和10个尾数位组成。FP16在表达小数时具有较高的精度，但表示的最大范围相对BF16比较小。相比BF16，在表达较大的数时更容易出现上溢的情况。
  • BF16由1个符号位、8个指数位和7个尾数位组成。相比于FP16，BF16牺牲了一些尾数位以增加指数位，扩大了表达的范围，但是精度降低了，因此对于对精度需求比较高的模型，模型可能效果不如FP16。

模型训练时使用BF16和FP16都可以降低内存使用和传输量，提高训练效率。

参考

transformer_WSZ
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
herosunly的博客
05-03 6万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算，精度更高】
u013250861的博客
06-11 1万+
但现在开源框架上，有通过将FP32 数据截断方式，用int16 指令集代替BF16 计算，不知道这块性能和精度是怎样的，是否符合实际需求呢？但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；那么，问题来了，两者性能加速比相似，但精度diff不一样，在哪些情况用BF16，哪些用FP16呢？BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。FP16半精度浮点数，用5bit 表示指数，10bit 表示小数；
BF16和FP16对比
hellochenlian的专栏
07-30 7938
BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。FP16半精度浮点数，用5bit 表示指数，10bit 表示小数与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以减半。但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；FP16 表示整数范围较小，但是尾数精度较高。IEEE 浮点运算标准的 2008 年修订版引入了半精度 16 位浮点格式（称为 fp16）作为存储格式。
BF16相比FP16的优点
最新发布
kejizuiqianfang的博客
06-07 515
BF16相比FP16的优点： -BF16和FP16都是两个字节，区别是指数位和小数位不一样
BF16与FP16的区别
duoyasong5907的博客
01-29 2573
参考两者差异图示如下：
LoRA中值得注意的微调细节
qq_41838627的博客
09-24 3751
究竟LoRA怎么用到大模型训练上。首先要有几点认识 1、 理论上LoRA可以用到不同类型神经网络的权重矩阵，减少可训练的参数量 2、 不同的大语言模型基于Transformer的不同改版，Transformer结构主要self attention层（W_q,W_k,W_v,W_o）和MLP层。
bf16 和fp16 ，fp32的区别以及相互转换逻辑
samoyan的博客,记录技术成长~
03-07 7087
总结来说，FP32、FP16和BF16各有其优势和适用场景，选择使用哪种精度格式通常取决于应用对计算速度、精度和数值范围的具体要求。在深度学习领域，FP16和BF16因其在性能和效率上的优势而越来越受到关注。
深度学习中的数据类型介绍：FP32, FP16, TF32, BF16, Int16, Int8 ...
qq_43799400的博客
11-06 1万+
深度学习中的数据类型介绍：FP32, FP16, TF32, BF16, Int16, Int8 ...
ARM CPU性能优化：FP32 、FP16 和BF16区别
热门推荐
haima1998的专栏
03-12 1万+
转自：https://zhuanlan.zhihu.com/p/351297472 https://community.arm.com/cn/b/blog/posts/arm-891361032 今天，主要介绍FP32、FP16和BF16的区别及ARM性能优化所带来的收益。 FP32 是单精度浮点数，用8bit 表示指数，23bit 表示小数；FP16半精度浮点数，用5bit 表示指数，10bit 表示小数；BF16是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。 在数
浮点运算的定点化
wangc_111的博客
02-23 832
浮点运算的定点化方法
FP32，TF32，FP16，BF16介绍
qq_41298763的博客
01-19 4614
浮点数是一种数据类型，指有小数点的实数。以二进制存储在计算机中时，包括符号位，指数位和小数位（尾数位）。浮点型数据分为：单精度（float，4字节，32比特）与双精度（double，8字节，64位比特）不同于定点数，浮点型数据以二进制存储在计算机中，因此计算时一般都是有误差，都是近似。（一般期望两个浮点型的误差相互抵消，所以一般使用同类型的浮点数进行相互计算例：0.1用二进制表示，将是一个无限循环小数，因此会出现舍入误差，造成精度损失。进制相互转换：1）整数十进制转化为二进制：除2取余数。
fpga-b210-verilog.zip_b210_usrp_usrp b210 fpga_usrp fpga_usrp fp
07-14
标题中的“fpga-b210-verilog.zip_b210_usrp_usrp b210 fpga_usrp fpga_usrp fp”提到了几个关键术语，这些术语都是与硬件描述语言Verilog、FPGA（Field Programmable Gate Array）以及USRP（Universal Software ...
八年级数学下册第19章矩形菱形与正方形19.2菱形作业设计新版华东师大版20200303272
09-09
第7题中，菱形ABCD的周长为12，EP+FP的最小值可以通过寻找EP和FP的垂直平分线找到，这条垂直平分线也是菱形对角线的一部分。 6. 菱形与比例关系：菱形的对角线可以用于计算边长。在第4题中，通过AC和BD的比例关系，...
fplib:适用于C ++的任意精度定点库
05-13
确切值介于0x16a09e667f3bcc908b2fb1366ea957d3e3adec17512775099da2f590b0667322a95f90608757145875163fcdfb907b6721ee950bc8738f694f0090e6c7bf44ed1a4405d0e855e3e9ca60b38c0237866f7956379222d108b148c1578e45...
2021届二轮复习 考点十六直线与圆锥曲线综合问题 文 作业（全国通用）.doc
06-07
根据抛物线的焦半径公式，点P1到焦点F的距离|FP1|+...+|FP10|可以通过x坐标之和加上定值来求解，因为x坐标成等差数列。 8. **直线与抛物线的交点与角度问题**： - 设直线AB与抛物线的交点A、B的坐标，建立直线方程...
宝锋UV9R Plus对讲机写频软件
10-21
此外，“测试有用”意味着该软件可以成功地与UV9R Plus对讲机配合工作，实现其应有的功能。值得注意的是，“但没有标称的15W”暗示了一个常见问题，即实际输出功率可能未达到对讲机标称的最大15瓦特，这可能是硬件...
半精度浮点数fp16和脑浮点数Bf16的说明和总结
voiiid的博客
03-15 5549
查阅了大量资料，都是将脑浮点数或者半精度浮点数和单精度、双精度进行对比，却没有发现将bf16和f16进行对比的资料。
有关于pytorch单精度bfloat16位
weixin_43301333的博客
10-15 1万+
BF16是brain float的简称（来源于google brain）。不同于普通的单精度浮点数FP16(i.e., torch.float16)，BF16是介于FP16和FP32之间的一种浮点数格式。BF16的指数位比FP16多，跟FP32一样，不过小数位比较少。即，BF16尝试采用牺牲精度的方法，来换取更大的数值空间。
常见浮点数格式梳理
weixin_44966641的博客
04-05 4429
常见浮点数格式梳理 IEEE 754 标准 浮点数转换网站：https://www.h-schmidt.net/FloatConverter/IEEE754.html IEEE二进制浮点数算术标准，为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式（包括负零-0）与反常值（denormal number），一些特殊数值（无穷（Inf）与非数值（NaN）），以及这些数值的“浮点数运算符”；它也指明了四种数值舍入规则和五种例外状况（包括例外发生的时机与处理方式）。 IEEE 754规定了四种表示浮点
llm 量化 fp16还是bf16
07-28
在LLM（低级实用模型）中，FP16（半精度浮点数）和BF16（Brain Floating Point-16）都是量化的方法，用于减少模型的计算量和存储需求。 FP16使用16位浮点数来表示模型参数和计算结果，相比于原始的32位浮点数，可以显著减少内存占用和计算时间，从而提高模型的训练和推理速度。然而，FP16在处理大规模深度神经网络时，可能会出现精度损失的问题，导致模型的性能下降。 BF16是谷歌最近提出的一种浮点数格式，它将32位浮点数转换为16位浮点数，并保持精度在合理范围内。BF16是在Tensor Processing Unit（TPU）等特殊硬件上使用的一种浮点数格式，可以提高计算速度并减少内存消耗，同时在性能方面与FP16相差无几。 选择使用FP16还是BF16取决于具体应用场景和要解决的问题。如果模型对精度要求较高，适合选择FP16，但需要考虑到可能出现的精度损失问题。如果对精度要求较低，或者硬件设备兼容BF16，则可以选择BF16来获得更高的计算速度和节省内存的优势。此外，还需要考虑到所使用的硬件平台对于这两种量化方法的支持程度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值