FP16和FP32与INT8占位和计算问题

最新推荐文章于 2024-03-15 23:59:53 发布
最新推荐文章于 2024-03-15 23:59:53 发布
阅读量6.8k 收藏 10
点赞数 2
分类专栏： # 散知识备忘录 文章标签： 数据 浮点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43881803/article/details/98069925
版权

数据问题

FP32占用4个字节，共32位，其中1位为符号位，8为指数位，23为尾数位。
FP16占用2个字节，共16位，其中1位为符号位，5位指数位，十位有效数字位。
符号位：0为正，1为负。
指数位的计算方式为：
取基底数加上后面有效数字化出来的指数数
基底数计算：第一位取0后面用1补满
例如FP16指数位5为：基底数就为01111 等于15
举例说明计算方式：例如十进制13化为二进制就是1101，将写成1.101乘以10的3次方
采用FP16方式表示：第一位符号13为正数取0，指数为15加3等于18二进制为10010 ；后面为有效数字写为1101后面补0即可。
int8，八位整型占用1个字节

jwspl
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
herosunly的博客
05-03 6万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
yolov5模型，yolov5量化模型，yolov5 FP16 FP32 INT8量化模型
08-03
yolov5模型，yolov5量化模型，yolov5 FP16 FP32 INT8量化模型，yolov5s.onnx,yolov5s.pt,yolov5s.engine,yolov5s.trt,yolov5s_fp16.engine,yolov5s_fp16_int8_engine,yolov5s_int8.engine， 模型量化，各种量化版本...
FP32、FP16 和 INT8
leoatliang的博客
07-05 6463
FP32、FP16 和 INT8
FP16(FP32同理)乘法器和加法器实现原理
weixin_58275336的博客
03-15 1334
因为fraction最高位的再高一位被称为隐藏位，这个隐藏位就固定是“1”。首先，一个十进制数可写成一个纯小数乘上10的若干次方，类似的，一个二进制数可写成一个纯小数乘上2的若干次方。因为只有这样，才可以计算出2的负次幂，减去的这个数称为‘’偏置常数‘’，它等于2^(n-1)-1,其中n为exponent的位数，0，可以看出0.75的阶数增加了7(133-126=7)，故尾数右移7位，隐藏位就显现出来了，当中尾数多出来的1便是隐藏位。故2^(5-1)-1=15, 2^(8-1)-1=127。
FP16、FP32、INT8、混合精度
奔跑的蜗牛的博客
08-07 7168
INT8，八位整型占用1个字节，INT8是一种定点计算方式，代表整数运算，一般是由浮点运算量化而来。因此，虽然INT8比FP16精度低，但是数据量小、能耗低，计算速度相对更快，更符合端侧运算的特点；在数据表示范围上，FP32和FP16 表示的整数范围是一样的，小数部分表示不一样，存在舍入误差；FP32 是单精度浮点数，用8bit 表示指数，23bit 表示小数，占用4字节；FP16半精度浮点数，用5bit 表示指数，10bit 表示小数，占用2字节；最高位代表符号位（0 - 正，1 - 负）
机器学习-fp16表示
梦中破的博客
04-30 1万+
公式引入 存储方式：1位符号位+5位指数位+10位尾数位，共16位，内存占2个字节 sign:符号位 exponent:指数位（阶码） fraction:小数位（尾数） 阶码常用补码或移码表示 尾数常用原码或补码表示 fp16表示为: （1.0+fraction）中的1 规格化值：小数点前只有1位数，且非0 例：3.1415 * 10^2, 0.31415 * 10 ^ 3, 31.415 * 10^(-1)都表示314.15，其中3.1415 * 10^2被称为规格化值，后两者为非规格化值。 对
FP32、FP16和INT8
胡乱学点东西
04-26 2万+
FP32（Full Precise Float 32，单精度）占用4个字节，共32位，其中1位为符号位，8为指数位，23为尾数位。 FP16（float，半精度）占用2个字节，共16位，其中1位为符号位，5位指数位，十位有效数字位。与FP32相比，FP16的访存消耗仅为1/2，也因此FP16是更适合在移动终端侧进行AI计算的数据格式。 INT8，八位整型占用1个字节，INT8是一种定点计算方式，代表整数运算，一般是由浮点运算量化而来。在二进制中一个“0”或者“1”为一bit，INT8则意味着用8bit来表
Nvidia GPU的浮点计算能力(FP64/FP32/FP16)
热门推荐
haima1998的专栏
10-16 10万+
转自：http://weibo.com/ttarticle/p/show?id=2309403987017473113077 ​​其实说到浮点计算能力，首先得区分不同精度的浮点数，虽然Linpack测试里只关心双精度的浮点计算能力，但在其他领域，有时候反而会更加关注单精度甚至是半精度的浮点计算能力。 半精度、单精度、双精度这些概念是在IEEE 754标准里定义的，浮点计数是利用浮动
FP16（半精度浮点数）、FP32（单精度浮点数）和INT8
Learning by doing
03-05 2101
在深度学习和计算机视觉领域中，FP16（半精度浮点数）、FP32（单精度浮点数）和INT8（8 位整数）是常见的数据类型或精度表示方式。它们在不同的场景下有各自的优势和用途。从内存占用上来说：INT8 < FP16 < FP32。从精度上来说: FP32 > FP16 > INT8。
TensorRT-使用TensorRT部署mmdetection模型-支持fp16+int8+动态shape-优质部署项目
02-27
fp16（半精度浮点）是将模型权重和激活数据从通常的fp32（单精度浮点）转换为更小的数据类型，以减少内存需求和计算量，从而提高推理速度。然而，fp16可能会导致一定的精度损失，但通常在视觉任务中可以接受。 int8...
TensorRT-使用tensorrt部署Swin-Transformer-支持fp16+int8精度推理-优质算法部署项目实战
02-28
接下来，我们将详细介绍TensorRT的关键特性以及如何将其应用于Swin-Transformer模型，同时也会讨论fp16和int8两种低精度计算的优势。 1. **TensorRT概述** - TensorRT的主要目标是优化深度学习模型，使其在生产...
特斯拉Dojo FP8、FP16数据规格
09-23
特斯拉的Dojo技术引入了一种可配置的浮点数格式，专注于8位的CFloat8和16位的CFloat16，这是针对深度学习神经网络训练设计的。本文档详细阐述了这些新格式和算法的方法，同时也规定了异常条件及其相关状态标志。 在...
fp32-fp16-int8-entropy-minmax-simple -yolov5
05-08
标题中的"fp32-fp16-int8-entropy-minmax-simple -yolov5"表明这是一个关于深度学习模型优化的讨论，特别是针对YOLOv5模型的。这里涉及了三种不同的数值精度：fp32（单精度浮点），fp16（半精度浮点）和int8（8位...
FP16:转换为半精度浮点格式
03-21
FP16是位于的HPC车库实验室的一项研究项目，该实验室位于佐治亚理工学院，计算学院，计算科学与工程学院。 本资料基于美国国家科学基金会（NSF）奖号1339745支持的工作。本资料中表达的任何观点，发现，结论或建议...
yolov8模型转rknn的fp16模型代码
09-26
首先，理解FP16是一种半精度浮点数格式，相比于常见的FP32（单精度），其数据宽度减半，从而节省存储空间和计算资源，有利于在资源受限的嵌入式设备上运行。然而，降低精度可能会影响模型的准确性，因此需要在效率和...
inswapper-128-fp16.onnx
10-18
inswapper_128_fp16.onnx
模型精度问题（FP16，FP32，TF32，INT8）精简版
yitiaoxiaolu的博客
02-13 4969
相信大家在学习模型部署和加速时都遇到过模型精度问题，精度和效率往往需要根据实际模型应用需求进行取舍，下面我以最精简的方式介绍常见的模型精度类型（FP16，FP32，TF16，INT8），希望对大家处理模型精度问题有所帮助。浮点数精度：双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4）量化精度：INT8、INT4。
C++常用占位符(自用)
qq_42751379的博客
07-14 6643
%d, %i 代表整数(bool类型也可以用%d) %f 浮点 %s 字符串 %c char %p 指针 %fL 长log %e 科学计数 %g 小数或科学计数 %a,%A 读入一个浮点值(仅C99有效) %c 读入一个字符 %d 读入十进制整数 %i 读入十进制，八进制，十六进制整数 %o 读入八进制整数 %x,%X 读入十六进制整数 %s 读入一个字符串，遇空格、制表符或换行符结束 %f,%F,%e,%E,%g,%G 用来输入实数，可以用小数形式或指数形式输入 %p 读入
openVino +windows+GPU/CPU 运行_2 ( FP16和FP32差距)
pinger3338的博客
04-01 5158
继续上一篇帖子。其实我想写的东西实在的是太多了。所以会写的比较慢。 1.关于FP16和FP32. 一直以来我以为FP16只针对神经棒使用，CPU和GPU应该是使用FP32.但是我查了相关信息后，发现FP16在GPU环境下运行更为完美。FP32在GPU上反而更慢。 2.执行结果的差异： FP16概率有时候会低于FP32.但是概率低到可以忽略不计，我这个是计算人是否蹲下来。上面是FP32的概率...
C语言 打印函数指针的函数名%Fp %pf
最新发布
05-09
在C语言中，我们可以通过使用函数指针来动态地调用不同的函数。在使用函数指针时，有时候需要打印函数指针的函数名，这时可以使用格式化输出函数printf()中的%Fp或%pf占位符来实现。 %Fp用于以十六进制输出函数指针，并在输出前加上函数名和文件名；%pf则只输出函数指针本身。需要注意的是，使用%Fp或%pf占位符需要包含头文件<stdio.h>。 示例代码： ```c #include <stdio.h> void func() { printf("This is func()\n"); } int main() { void (*p)() = func; printf("%Fp\n", p); printf("%pf\n", p); return 0; } ``` 输出结果： ``` 0x4004b6 <func> at test.c 0x4004b6 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值