深度学习8bit量化数据转16bit量化数据方法（一）

最新推荐文章于 2024-05-04 09:45:00 发布
最新推荐文章于 2024-05-04 09:45:00 发布
阅读量3k 收藏 4
点赞数 1
文章标签： 机器学习 fpga 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/freelvbin/article/details/112695519
版权

应用场景

在对网络转变为8bit量化网络后，有的算子譬如sigmoid需要按照浮点数进行计算，所以在sigmoid前端需要将8bit量化数据转变为16bit数据。本文阐述了如何将8bit量化的数据转变为Q(16,7)量化数据的方法。

参数定义

X_quant ： 8bit量化数据
Z_quant ：8bit量化时对应的Zero值
S_float : 8bit量化时的数据缩放系数
x_float ：对应的浮点数

计算推导

结束语

8bit网络的量化精度和能够量化的数据范围与n的值有关，详细将在下一节进行分析。

freelvbin
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【测试】8bit和4bit量化对模型在MMLU数据集上准确率的影响
Slightwind's Blog
03-24 1492
下面是改变其中某个参数后在 MMLU 数据集上的准确率，可以看出即使是 4bit 对准确率影响都没有很大，首 Token 性能还可以接近原精度，还节省了大量的空间。ms，最后的测试结果还算比较接近官方的结果，以此作为 baseline 和量化后的模型权重对比推理下游任务准确率的损失情况。），4bit 量化包含两种 4bit 的数据类型 FP4 和 NF4，以及。Mistral-7B 是一个很强的 7B 开源模型，在 Mistral。）并直接在原精度（BF16）上进行推理，尝试复现出官方的准确率。
BNN网络量化与8bit量化之间关系
weixin_43082868的博客
02-13 1950
Binarized Neural Networks BNN网络利用二值化的方法，将权重与激活函数都进行了改变，为了可以达到更高的速度和更小的存储空间。但是这种量化方法与8bit的方法相比是颠覆性的，因为8bit量化可以认为是把信息变得粗糙了不精确了，但是这种二值化的方法可以说是把信息进行了极端的抽象化处理。这种大量的信息丧失必然带来了效果的大幅度下降，但是时间和空间上也得到了很好的简化。下面我们通...
模型量化与量化在LLM中的应用
最新发布
AAI666666的博客
05-04 670
随着模型在各种场景中的落地实践，模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流，在各项任务中取得SoTA成绩，它们在训练和推理中的昂贵成本使得其在合理的成本下的部署实践显得愈加重要。
使用python模拟全连接层的8位和16位定点量化计算
qq_36105823的博客
09-11 683
使用python模拟全连接层的8位和16位定点量化计算
使用tensorflow自带的工具进行直接8bit量化
andeyeluguo的博客
07-03 7298
首先可以使用docker安装一个最新的cpu版本的tensorflow docker pull tensorflow/tensorflow:latest 1. bazel安装见博客。 2. 在github上下载tensorflow-master的源代码并unzip cd tensorflow-master 3.编译工具 由于新版的tensorflow代码有了变化，旧版的t...
16QAM信号生成以及16bit量化并生成COE文件
大侠在线摸鱼
04-13 890
//注释仅供参考 % QAM16 clc;clear;close all; R = 40e6; %符号率 beta =0.15; %beta，升余弦滤波器 nsamples = 5; % samples/symbol每符号的采样数 Fs=R*nsamples;
非整数倍数数据位宽转换8to12
小柚子的博客
04-04 696
非整数倍数数据位宽转换8to12 题目描述 实现数据位宽转换电路，实现8bit数据输入转换为12bit数据输出。其中，先到的数据应置于输出的高bit位。 电路的接口如下图所示。valid_in用来指示数据输入data_in的有效性，valid_out用来指示数据输出data_out的有效性；clk是时钟信号；rst_n是异步复位信号。 `timescale 1ns/1ns module width_8to12( input clk , input rst_n
第3节-数据编码.pptx
12-16
量化位数是量化值的位数，常见的量化位数有8bit、16bit、32bit。音频编码的常见格式有Wave、MP3、WMA等。 视频编码 视频编码是指将视频信号转换为计算机可以理解的二进制代码的过程。视频编码可以分为无压缩和压缩...
位图转换程序（16bit to 24bit）
01-11
位图转换程序是一种工具，主要用于将图像数据在不同的位深度之间进行转换。在这个特定的案例中，我们关注的是从16位565格式的位图转换为24位位图，然后再进一步转换为8位256色的位图。这种转换在图形处理和图像显示...
pcm测试文件，用于音频测试，纯数据
03-18
接下来，每个采样点的幅度被量化成16位的二进制数字，这被称为位深度。16位表示音频的动态范围非常大，能够记录从最小到最大的声音变化，提供良好的音质。量化后的数值代表了音频信号的强度。 文件描述中提到的...
不同samplerate 8k、32k、48k，位深16bit 单声道pcm和wav音频测试文件
05-30
这个压缩包中的文件名包含了具体的音频参数，比如“冰雨片段8k16bit单声道.wav”，表明这是一个使用8kHz样本率、16位位深的单声道WAV音频文件，适用于评估不同设置下的音频质量。 总的来说，这些音频测试文件为我们...
实现8位Matlab数据量化
08-22
本程序是用Matlab实现8位数据量化，便于数字化处理
一种低功耗16bit音频Sigma-Delta调制器的设计
02-24
设计了一款工作在1.8V电源电压下、功耗仅为1.8mW、精度为16bit,优化系数(FOM)达170的音频sigma-delta调制器.其过采样率为128,采用3阶噪声整形.为了降低功耗,采用前馈结构以及单比特量化.通过采用PMOS管实现局部反馈,...
halcon 16bit与8bit图像数据相互转换
ab1271173712的博客
11-21 6795
dev_open_file_dialog ('read_image', 'default', 'default', Selection) read_image (Image, Selection) ** 1. 寻找彩色图像中亮度最大的通道 decompose3 (Image, ImageRed, ImageGreen, ImageBlue) min_max_gray (ImageRed, Ima...
VL32.1—整数倍数据位宽转换8位—＞16位，波形验证正确！
qq_21952195的博客
09-20 580
解决整数倍位宽转换问题
VL34-整数倍数据位宽转换8to16。其中，先到的8bit数据应置于输出16bit的高8位！
qq_21952195的博客
09-21 432
解决整数倍位宽问题！
音视频开发基础知识
L1ak的博客
09-17 339
2342
CNN模型 INT8 量化实现方式（一）
热门推荐
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
16bit转8bit代码
05-27
16位图像转8位图像可以使用下面的代码实现，其中假设16位...cv2.imwrite('8bit_image.tif', img_8bit) ``` 其中，normalize()函数用于将像素值缩放到指定的范围内，np.uint8()函数用于将数组转换为8位整型数据类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值