CNN 量化技术

最新推荐文章于 2025-01-20 08:15:00 发布
最新推荐文章于 2025-01-20 08:15:00 发布
阅读量3.7k 收藏 17
点赞数 5
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/emma1222/article/details/90665494
版权
本文介绍了CNN模型量化的背景、原理和必要性，探讨了现有的量化压缩方法，特别是Google提出的八位量化方案，该方案能在保持性能的同时显著减少模型大小和计算资源需求，适用于移动设备上的CNN部署。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Quantize Model 是一种模型加速（Model Acceleration）方法。

背景介绍

目前SOTA（State Of The Art，顶尖水平）的CNN都不适合在移动设备上部署，两点原因使CNN模型压缩和加速领域快速发展：

  1. 从AlexNet开始，CNN都以ImageNet上的分类准确率作为性能评估的主要甚至唯一标准，这使得CNN架构的发展都没有考虑模型复杂度和计算效率问题。
  2. 想要在智能手机，AR/VR设备，无人机等移动设备上部署CNN，需要模型大小比较小、时耗比较低，才满足设备的内存限制，保证用户体验。

为何量化能工作

神经网络的训练是一个不断对权重添加细微修正的过程，这种细微修正一般需要浮点精度才能完成 (尽管也有工作试图从这个阶段开始就量化，比如二值化神经网络)。

但是当用一个训练好的模型来做推断时，模型却能够很好地应对较大的输入噪声。比如为了识别照片中的物体，网络必须忽略所有的 CCD 噪声、光照变化，以及其它与之前训练样本之间的非本质差异，而只关注重要的相似之处。这种能力意味着神经网络似乎把低精度计算视为另一种噪声来源，而在数值格式精度较低的情况下仍能给出准确结果。、

为何需要量化

1. 神经网络可能会占据很大的存储空间，比如最初的浮点数格式的 AlexNet 大小就有 200 MB。这个大小几乎全部来自神经元连接

最低0.47元/天 解锁文章
基于FPGA的CNN自适应映射技术-inna1.0
08-26
本项目为映射技术的软件端，拟实现CNN映射编译器和CNN量化器，首先由TensorFlow产生的模型文件解析产生CNN的计算图模型，CNN映射编译器会根据解析的计算图和现有的CNN加速库单元，选择相应的CNN库单元，生成相应的...
【嵌入式AI】CNN模型压缩（剪枝，量化）详解与tensorflow实验
AI知识搬运工
01-25 5709
1，CNN模型压缩综述 1 模型压缩的必要性及可行性 （1）必要性：首先是资源受限，其次在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务； （2）可行性：模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚⾄会降低模型的性能。论⽂提出，很多的深度神经网络仅仅使用很少一部分（5%）权值就⾜以预测剩余的权值。该论⽂还提出这些剩下的权值甚至可以直接不用被学习。
CNN：模型量化训练和部署
yly的博客
11-04 2470
训练后量化Post-training quantization： 混合量化--仅量化权重 全整型量化--权重和激活值都进行量化 半精度float16量化--仅量化权重 量化感知训练（Quantization-aware training） 是一种伪量化的过程，它是在可识别的某些操作内嵌入伪量化节点，用以统计训练时流经该节点数据的最大最小值，便于在转换格式时量化使用并减少精度损失。伪量化节点的意义在于统计流经数据的最大最小值并参与前向传播提升精确度，但其在转换为量化模型后，其工作原理还是与训练..
3种量化技术的原理和代码实现总结
最新发布
老皮的博客
01-20 1316
在机器学习迅速发展的今天，一个基本挑战是使深度学习模型运行更加高效。模型量化是一种策略，它允许减少内存需求和计算需求，使得在资源受限的硬件上部署这些模型成为可能，并且更加高效。在这篇博客中，我们将深入探讨PyTorch模型量化的世界。首先，我们将使用PyTorch设计和训练一个定制的深度学习架构。一旦我们的模型训练完成并准备好，我们将详细介绍应用三种不同的量化技术：静态量化、动态量化和量化感知训练。这些技术各有其独特的优势和潜在限制，对模型的性能和效率有不同的贡献。
CNN量化
A person does not really understand something until after teaching it to a computer. Donald.E.Knuth
08-15 288
参考：【模型压缩】训练时量化--training aware quantization 参考：Google CVPR 2018论文：CNN量化技术 参考：CNN Network quantization 阶段总结 参考：CNN 模型压缩与加速算法综述 参考：CNN压缩与加速 参考：基于FPGA的CNN算法移植（一）概述 ...
CNN模型 INT8 量化实现方式（一）
热门推荐
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
优化CNNs--量化方法进展介绍
dnvtmf的专栏
07-09 6185
介绍了最新的几种通过量化方法来优化卷积神经网络的网络结构
CNN网络量化 - Quantized Convolutional Neural Networks for Mobile Devices
cv_family_z的博客
08-24 1万+
Quantized Convolutional Neural Networks for Mobile DevicesCVPR2016GitHub code: https://github.com/jiaxiang-wu/quantized-cnn本文主要是通过对CNN网络的量化，达到压缩模型大小及加快速度的目的，牺牲的准确率比较小。CNN网络在 test phase ， 运算时间主要消耗在卷积层，C
DeepLearning量化交易项目,使用深度学习技术（CNN、RNN、LSTM以及复合神经网络）对价格数据进行预测（全套源码）
12-20
随着深度学习技术的发展，其在量化交易中的应用越来越广泛，尤其是卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）以及复合神经网络等模型的引入，为价格预测提供了新的可能。本项目正是基于这样...
基于卷积神经网络(CNN)数据回归预测，MATLAB代码 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量
08-25
总之，这个项目提供了一个使用MATLAB和CNN进行数据回归预测的实例，结合多种评价指标，有助于学习者理解如何在实际问题中应用深度学习技术，并优化模型性能。通过研究这些脚本，我们可以深入理解CNN在回归任务中的...
使用CNN与技术指标预测股票趋势的研究
股票市场数据虽然是时间序列数据，但通过技术指标转换为图像形式后，CNN就可以用来预测股票价格或趋势。 ### 知识点二：技术指标与股票预测 技术指标是金融市场分析中常用的一种工具，它通过数学计算历史价格数据...
ShiftCNN —— 基于量化的低精度网络表达
shuzfan的专栏
09-05 6114
一个利用低精度和量化技术实现的神经网络压缩与解决方案。 个人认为，这是低精度量化方面少有的具有高度工程可行性的一个方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接： 《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》模型转换示例代码： http
量化技术介绍
qq_43642885的博客
07-12 310
量化是一个信息有损压缩的过程，如果训练过程中使用FP32，在模型推理时使用Post-training Quantization（PTQ）直接量化为INT8模型，模型精度会存在一定损失。而量化感知训练（Quantization-aware-training, QAT）在模型训练过程中就引入了。量化（quantization）是模型压缩的一种常用方法，通常情况下可以使用不同的量化策略，来模拟量化过程中带来的误差，通过这种方式能够进一步减少量化后模型的精度损失。介绍压缩方法之一：量化；
推荐项目：cnn-quantization——深度学习模型的高效量化神器
gitblog_00093的博客
06-07 562
推荐项目：cnn-quantization——深度学习模型的高效量化神器 去发现同类优质开源项目:https://gitcode.com/ 在追求更快运算速度和更低功耗的今日，模型量化已成为AI领域不可忽视的重要议题。今天，我们要向您推荐一个专攻CNN（卷积神经网络）量化的开源宝藏项目 —— cnn-quantization。此项目不仅能够优化您的模型性能，更能在保证精度的同时，大幅降低计算资源的...
量化技术详解
qq_57540674的博客
10-08 945
量化公式中的r表示原来的浮点值，Q表示量化后的整型数据，s表示缩放因子，是量化相关的参数。网络中值的分布往往是不均匀的，更多的是类似高斯分布的形式。非对称量化表示的范围没有严格的限制，可以根据浮点值的范围，选取任意的想要表示的范围。网络中的值往往不是均匀分布的，大部分是中间多两边少的“钟”型分布，此外还可能存在一些离群点，如果量化要表示所有的浮点值，反而可能会降低量化的精度。：对称量化中浮点值的零点直接映射到量化值的零点，因此不需要其他参数来调整零点的映射的位置，与量化相关的参数只有缩放因子s。
CNN量化-嵌入式移植
yiyayiya557的博客
06-12 2007
参考文章： 从TensorFlow Lite源码入门CNN量化 https://zhuanlan.zhihu.com/p/42811261 浮点峰值那些事儿 https://zhuanlan.zhihu.com/p/28226956 深度学习CPU，GPU，NPU，TPU以及其计算能力单位 https://blog.csdn.net/u010451780/article/details/104720082 CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的
【AI不惑境】模型量化技术原理及其发展现状和展望
hacker_long的专栏
05-17 1882
大家好，这是专栏《AI不惑境》的第十篇文章，讲述模型量化相关的内容。进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么...
从TensorFlow Lite源码入门CNN量化
weixin_41521681的博客
09-05 1078
从TensorFlow Lite源码入门CNN量化 前言 从2012年AlexNet夺得当年ImageNet冠军开始，深度学习就开始呈爆破式发展，这个过程中迭代出很多优秀的深度学习代码框架，随着技术逐渐成熟，工业界对技术落地的需求越来越迫切，近几年的论文也慢慢分为两大派系，一派主要研究如何提高performance，另一派研究如何提高computational efficiency，当下已经诞生了很多模型压缩和加速方法，这些方法降低了服务器的运行负担甚至可以让高performance网络运行在移动.
一起来看看什么是量化技术吧
08-22 469
量化技术，又称为“量化训练”或“模型量化”，是一种通过减少模型参数的表示位数来降低模型的计算和存储开销的方法。量化技术的目标是在尽量保持模型性能的同时，减小参数表示的位数，从而在计算和存储方面实现更高的效率。通过将模型参数和激活值表示为较小的数值，量化技术有效地缓解了深度学习模型规模不断增长的问题，为在资源有限的环境下实现高效的模型训练和推理提供了新的可能性。量化技术的核心思想是将模型中的参数和激活值映射到较小的值域，通常是有限的整数或低位的浮点数。量化技术可以减小参数的大小，降低了模型通信的成本。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值