大模型量化技术大揭秘：INT4、INT8、FP32、FP16的差异与应用解析

已于 2024-08-08 17:19:03 修改
阅读量528 收藏
点赞数 3
分类专栏： 大模型应用落地架构实战 文章标签： 语言模型 人工智能 知识图谱
于 2024-08-07 10:05:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36330643/article/details/140980277
版权

大模型的量化是一种优化技术，其过程包括将深度学习模型中的权重和激活值从高精度浮点数（如32位）转换为低精度表示（如8位整数，INT8），这个过程被称为“量化”。它旨在减少模型的大小和计算复杂性，同时尽可能减少精度损失的优化手段。

添加图片注释，不超过 140 字（可选）

具体而言，模型量化是一种压缩网络参数的方式，它将神经网络的参数(weight)、特征图(activation)等原本用浮点表示的量值，换成用定点（整型）表示，在计算过程中，再将定点数据反量化回浮点数据，得到结果，如图所示。

添加图片注释，不超过 140 字（可选）

INT4量化

INT4量化是一种激进的量化方式，将模型的权重和激活值量化为4位整数。由于表示范围更小，精度也较低，INT4量化通常会导致较大的精度损失。然而，与INT8量化相比，INT4量化

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Soyoger
关注
专栏目录
订阅专栏
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
herosunly的博客
05-03 12万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
AI大模型的神经网络模型量化技术：INT8 还是 INT4 ？
AI天才研究院
06-15 1万+
如果要量化的目的是实现硬件加速，则应首选确定性量化，因为可以预先指定适当的量化级别，以便在专用硬件上运行量化网络，对硬件的性能预期得到改善。QAT量化方法在付出重新训练的代价后，采用INT4的量化模型应用场合会较大，但稳定性还是需要大量的实验验证，尤其是安全性要求很高的自动驾驶领域，大家不得不慎重考虑。但是，DNN模型的每一层对准确性都有不同的影响，因此可以使用细粒度的混合精度量化方法，其中每层权重和激活值的位宽不同。而随机性量化，其权重、激活值或梯度是离散分布的，而量化值是从这些离散分布中采样而来。
fp32和int8模型的区别_从TensorRT看INT8量化原理
weixin_40003451的博客
12-20 2980
1 Low Precision Inference现有的深度学习框架 比如：TensorFlow，pytorch，Caffe， MixNet等，在训练一个深度神经网络时，往往都会使用 float 32(Full Precise ，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG 19.6 ...
您需要知道的：大模型中的算力精度FP16 vs. FP32
最新发布
qianggezhishen的专栏
08-20 2060
正如海洋中的巨浪需要广阔的海域来形成，大模型的算力需求也要求我们拓宽对现有计算资源的认识。接下来的内容将引导我们穿越技术的波涛，探索在人工智能快速发展的今天，算力如何成为推动进步的关键力量。我们将分析FP16与FP32精度选择的权衡，评估算力需求的增长趋势，审视算力供给的现状与挑战，并最终展望算力技术的创新与突破。这不仅是对技术层面的深入研究，也是对人工智能未来发展的一次深思熟虑。
INT4和INT8
u013939918的博客
01-07 2万+
int4 和  int8  分享一个小知识  看别人视频时听到int4就是一个四字节的int 遂心生疑惑 难道int8就是8字节吗   所以仔细查了一下  int4其实时默认四位  不足四位 补零 。for example   表示一个1    为 0001   。当然 同样表示一个1  加上FILL ZERO之后 int4和int8无区别  。
int2 int4 int8
weixin_34055910的博客
05-10 6949
2019独角兽企业重金招聘Python工程师标准>>> ...
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）
asdfaa的博客
04-18 6150
本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
Int8，Int16，Int32，Int64 有啥不同呢？看了立马就懂！
热门推荐
weixin_30871701的博客
07-16 4万+
大家有没有写了很久代码，还不知道这个Int8，Int16, Int32, Int64有什么区别呢？或者是为什么后面的数字不一样呢？ 初步了解了一下，才清楚这个东西。 先来扫盲一下计算机存储单元， 　　在计算机内部，信息都是釆用二进制的形式进行存储、运算、处理和传输的。信息存储单位有位、字节和字等几种。各种存储设备存储容量单位有KB、MB、GB和TB等几种 计算机的基本的存储单元有：...
yolov5模型，yolov5量化模型，yolov5 FP16 FP32 INT8量化模型
08-03
yolov5模型，yolov5量化模型，yolov5 FP16 FP32 INT8量化模型，yolov5s.onnx,yolov5s.pt,yolov5s.engine,yolov5s.trt,yolov5s_fp16.engine,yolov5s_fp16_int8_engine,yolov5s_int8.engine， 模型量化，各种量化版本...
大语言模型原理基础与前沿 FP8与INT8
AI天才研究院
06-17 775
大语言模型原理基础与前沿 FP8与INT8 1. 背景介绍 1.1 大语言模型的崛起 近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理(NLP)领域掀起了一场革命。这些模型通过在大规模
模型精度问题（FP16，FP32，TF32，INT8）精简版
yitiaoxiaolu的博客
02-13 7898
相信大家在学习模型部署和加速时都遇到过模型精度问题，精度和效率往往需要根据实际模型应用需求进行取舍，下面我以最精简的方式介绍常见的模型精度类型（FP16，FP32，TF16，INT8），希望对大家处理模型精度问题有所帮助。浮点数精度：双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4）量化精度：INT8、INT4。
大语言模型的模型量化(INT8/INT4)技术
stephen147的博客
08-09 2014
由于量化前的激活值变化范围较大，即使对于同一 token，不同channel数值差异较大，对每个 token 的量化也会造成精度损失，但是不难看出较大值一般出现在同一 channel，因此作者也分析了采用 per-channel 的量化方式，这种量化方式能很好的避免精度损失，但是硬件不能高效执行，增加了计算时间，因此大多数量化仍采用 per-token 及 per-tensor 的量化方式。最后，我们再计算与 A 和 B 的最大绝对值向量的外积，并将此与 C 求哈达玛积来反量化回 FP16。
大模型涉及到的精度是啥？FP32、TF32、FP16、BF16、FP8、FP4、NF4、INT8区别
stephen147的博客
08-09 2306
浮点数精度：双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4）量化精度：INT8、INT4 （也有INT3/INT5/INT6的）另外，实际使用场景中，还有多精度和混合精度的概念假设你每秒钟赚到的钱是1块钱，那一个月的收入是160602430=216000，如果每秒钟赚到1块1呢，那一个月的收入是237600，就一个1毛钱的小数点，让你月收入少了1万多，这就是精度不同导致的差异。
Int4：Lucene 中的更多标量量化
Elastic 中国社区官方博客
04-27 5352
​ 在 Lucene 中引入 Int4 量化。在之前的博客中，我们全面介绍了 Lucene 中标量量化的实现。 我们还探索了两种具体的量化优化。 现在我们遇到了一个问题：int4 量化在 Lucene 中是如何工作的以及它是如何排列的？
postgresql的int4类型
qq_28433521的博客
03-22 2万+
1.postgresql的int4类型中的长度为4个字节，32位 2.postgresql 中int4类型截图如下： 注：PG中int4类型对应的是SQL标准中的INTEGER类型，而且PG实现的是源生的integer类型，是定长4字节(=32位bit)。其对应的十进制取值范围是-‭21474836478 ~ ‭2147483647‬ ...
int8量化和int16量化的区别
qq_39931336的博客
03-15 1172
综上所述，选择Int8量化还是Int16量化取决于具体的应用场景和对模型性能、精度和资源需求的权衡。
【MySQL】int和int(4)究竟有什么区别？你可能一直用错了
九师兄
08-26 2529
在 MySQL 数据库中，int 和 int(4) 都表示整数类型。总而言之，int 和 int(4) 在存储上没有区别，它们都表示相同的整数类型。int(4) 中的 (4) 表示显示宽度，用于指示客户端显示查询结果时保留的位数。如果要实现特定的显示效果，例如零填充，可以使用显示宽度和适当的附加属性（如 ZEROFILL）来控制查询结果的格式。
fp32/fp16/int8/int4/fp8
10-21
其中，fp32和fp16分别表示32位和16位浮点数，int8和int4分别表示8位和4位整数，而fp8则表示8位浮点数。 在深度学习中，这些数据类型也经常被使用。例如，fp32是最常用的数据类型，因为它可以提供足够的精度来处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Soyoger

听说打赏的都进了福布斯排行榜。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值