Two-Step Quantization for Low-bit Neural Networks

最新推荐文章于 2023-02-07 22:44:27 发布
最新推荐文章于 2023-02-07 22:44:27 发布
阅读量425 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/104431803
版权
本文提出解决低位神经网络量化问题的两步量化方法。首先对激活值进行稀疏量化，通过阈值处理增加稀疏度，然后利用标准正态分布的累积分布函数确定量化间隔。接着，对权重进行量化，通过交替优化放缩系数和量化间隔，避免直接优化离散量化函数导致的收敛困难。实验表明，这种两步量化策略能有效提高低位量化神经网络的训练效果。
摘要由CSDN通过智能技术生成

这篇文章的动机是：作者认为，低位量化时如果同时对权重和激活值进行量化，因为量化是一个阶梯函数，那么在使用SGD训练时，梯度的微小变化并不能很好地反应到量化的参数上。因此激活值梯度的方差就会很大，导致SGD很难收敛。

为了解决这个问题，作者将其分为两步进行：首先对激活值进行量化，接着对权重进行量化。

Sparse Quantization for Code Learning

在这一步时，作者先使用全精度的权重，对激活值进行量化。

作者发现，稀疏度(sparsity)的作用很大，而且更大的激活值对网络的影响更大。所以虽然常用的ReLU激活函数已经提供了50％的稀疏度，作者还是使用阈值方法对其进行了稀疏处理。

在这里插入图片描述
那么一个问题就是，如何选取ε。

作者从HWGW的文章里找到了思路：在进行BN操作后，可以认为输出符合一个标准正态分布。那么定义以下函数：
在这里插入图片描述
它是一个标准正态分布的累积分布函数，θ代表了这个分布被归零的比例，所以ε的定义问题就转换为θ的定义问题。作者做了如下实验：

最低0.47元/天 解锁文章
JachinMa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
量化、数据格式转换相关整理—— 转载
d_b_的博客
07-29 1204
谷歌量化白皮书，常用量化方法介绍
【论文阅读笔记】Two-Step Quantization for Low-bit Neural Networks
时光机 °的博客
11-10 2050
概要总结   该方法主要就如论文名字一样，把量化激活值和权重的过程分为两步，其主要思想就是先量化激活值再量化权重(以前的方法将激活值和权重一起量化，这样两个量化方向紧密耦合)。   针对量化激活值，提出了稀疏量化方法(作者认为稀疏在网络压缩和加速中能起到很大的作用)。而对于权重量化，将权重量化看成 low-bit 的非线性最小二乘回归问题(对于权重而言，其目的就是得到和原先差不多的输出)。   将...
深度学习模型精度与PyTorch模型量化
关于我的学习记录
12-19 1万+
深度学习模型精度与PyTorch模型量化
一文读懂TensorRT整数量化
xiaohu的博客
02-07 1249
模型量化是一种流行的深度学习优化方法，其中模型数据（包括网络参数和激活）从浮点表示转换为较低精度表示，通常使用 8 位整数。在处理 8 位整数数据时， NVIDIA GPU 使用更快更低成本的 8 位张量核来计算卷积和矩阵乘法运算。这会产生更多的计算吞吐量，这在计算受限的层上尤其有效。将数据从内存移动到计算单元（在 NVIDIA GPU s 中的流式多处理器）需要时间和能量，而且还会产生热量。将激活和参数数据的精度从 32 位浮点值降低到 8 位整数可导致 4 倍的数据缩减，从而省电并减少产生的热量。
Pytorch 1.3.0 量化介绍
bbbeoy的专栏
07-09 692
https://blog.csdn.net/zym19941119/article/details/102523719/ 量化介绍 量化指的是使用比浮点精度更少的比特数来进行yi计算和存储的技术。一个量化后的模型使用整数tensor而不是浮点数tensor来执行一部分或全部的操作。这是一种更紧凑的模型表现方式，并且可以利用许多硬件平台上的高性能向量操作。PyTorch支持INT8的量化，相比于FP32，模型大小减少了4x，对内存带宽的需求也减少了4x。INT8操作的硬件支持使得其计算通常要比FP32.
Adaptive Loss-Aware Quantization for Multi-Bit Networks.pdf
10-19
Adaptive Loss-aware Quantization (ALQ) 是一种新的MBN量化管道，能够在不显著降低推理准确性的情况下，将平均位宽降低到接近一比特。与以前的MBN量化方法不同，这些方法通过最小化重建全精度权重的误差来训练量化...
Tensorflow-Neural-Network-Quantization:评估量化技术对神经网络推理时间影响的项目
05-17
Tensorflow神经网络量化这是2017-2018年高级计算机架构课程@PoliMi的学校项目。 请注意，存储库还包含数据集和所有模型文件。 您可以在这些笔记本上查看MNIST模型评估的主要结果： ， 还提供CIFAR-10模型的评估： ，...
Two-Step-Quantization-AlexNet:AlexNet上的两步量化
05-09
AlexNet上的两步量化这是的演示。用法： 将源文件复制到caffe的目录中，然后构建caffe。 下载。 ./build/tools/caffe test -model test_2_ternary.prototxt -weights caffe_2_ternary.caffemodel -iterations 1000 -...
Quantization for rapid deployment of deep neural networks
02-10
本文《Quantization for Rapid Deployment of Deep Neural Networks》由Samsung Advanced Institute of Technology的研究人员撰写，他们提出了一种简单的方法，通过识别通道级别的分布来减少量化引起的精度损失，并...
Towards Effective Low-bitwidth Convolutional Neural Networks
09-18
This paper tackles the problem of training a deep convolutional neural network with both low-precision weights and low-bitwidth activations. Optimizing a low-precision network is very challenging since the training process can easily get trapped in a poor local minima, which results in substantial accuracy loss. To mitigate this problem, we propose three simple-yet-effective approaches to improve the network training. First, we propose to use a two-stage optimization strategy to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and then quantized activations. This is in contrast to the traditional methods which optimize them simultaneously. Second, following a similar spirit of the first method, we propose another progressive optimization approach which progressively decreases the bit-width from high-precision to low-precision during the course of training. Third, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training. Extensive experiments on various datasets (i.e., CIFAR-100 and ImageNet) show the effectiveness of the proposed methods. To highlight, using our methods to train a 4-bit precision network leads to no performance decrease in comparison with its fullprecision counterpart with standard network architectures (i.e., AlexNet and ResNet-50)
Deep-Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman:这是https的pytorch实现
05-10
总的来说，"Deep Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman"提供了一个实用的工具，帮助研究者和开发者应对深度学习模型的大小问题，为在资源受限的环境中运行...
【Σ-Δ型ADC芯片】
aaa66654的博客
07-23 2227
Σ-Δ型ADC实际上是一种用高采样速率来换取高位量化，即以速率换分辨率的方案。这种类型的ADC采用了极低位的量化器， 从而避免了制造高位转换器和高精度电阻网络的困难；另一方面，因为它采用了Σ-Δ调制技术和数字抽取滤波，可以获得极高的分辨率；同时由于采用了低位量化输出的Σ-Δ码，不会对抽样值幅度变化敏感，而且由于码位低，抽样与量化编码可以同时完成，几乎不花时间，因此不需要采样保持电路，这就使得采样系统的构成大为简化。这种增量调制型ADC实际上是以高速抽样率来换取高位量化，即以速度来换精度。......
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 5万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
Paper Reading||Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks
Mr_Menace的博客
02-09 2398
由于量化电平是有限的，当模型量化到极低比特(如 2-bit)时，目前的二值量化和均匀量化仍然会导致非常严重的性能下降。QAT 的反向传播很难获得准确的梯度，在文献中基本都用直通估计器(STE)来近似。但当数据被量化到极低比特时，梯度误差会被放大，导致优化明显不稳定。量化本身不可避免地会导致原始数据与其量化值之间出现较大偏差，从而常常导致性能下降。量化通常由两个操作完成：剪裁(Clip)和取整(Round)。前者将数据限制在较小的范围内，而后者将原始值映射到最近的量化点。
CNN网络量化--Two-Step Quantization for Low-bit Neural Networks
AI小作坊 的博客
04-24 1570
Two-Step Quantization for Low-bit Neural Networks CVPR2018 https://github.com/wps712/Two-Step-Quantization-AlexNet https://github.com/HolmesShuan/Optimal-Ternary-Weights-Approximation 本文的思路很简单：将CNN网络模...
GDFQ：基于Data-Free的低比特量化方法
u012347027的博客
09-26 940
GDFQ：基于Data-Free的低比特量化方法动机方法知识匹配生成器低位宽量化训练过程训练生成器G训练量化模型Q实验结果评估G生成的伪数据是否能够匹配分类边界信息数据集 4-bit 精度比较消融实验 本文是华南理工大学的一个团队发表在ECCV2020上的基于生成器的低比特无数据量化（GDFQ）工作。为消除数据依赖问题，GDFQ利用知识匹配生成器以利用预训练全精度模型的分类边界知识与分布信息生成有意义的假数据，以实现精度损失较少的低比特无数据量化。 论文题目：Generative Low-bitwidt
quantization 顶会文章简介 2018
JachinMa的博客
09-14 900
1、Model compression via distillation and quantization 深度神经网络持续地在图像分类到翻译或强化学习的任务上取得重大进展。其中一个受到大量关注的领域是在资源限制的环境下，如移动设备或嵌入式设备，来高效地执行深度模型。本文着眼于该问题，并提出了两个压缩算法，它同时利用权重量化和从更大的教师网络到更小的学生网络的蒸馏。作者提出的第一个方法被称为量化...
【论文阅读笔记】Towards Effective Low-bitwidth Convolutional Neural Networks
时光机 °的博客
11-12 1342
全文概括   该论文主要是介绍了一些训练量化网络的Tricks，其4-bit网络的表现比 5-bit 的INQ网络效果要好一点。   该论文为训练量化网络提供了三个方法： 两步优化策略 ，先量化权重，再量化激活值;（Two-step, TS） 逐步量化 ，在训练过程中逐步减少量化位宽;（Progressive Quantization, PQ） 联合训练 浮点网络和低精度网络;（Guided t...
翻译如下，并解释BSNN指的是什么意思？Neural Network(BSNN)  Dedicated 800MHz DSP for control logic and custom operators  HW based 3-D CNN MAC array computation o 3-D tensor MAC array with high utilization o Structured weight pruning and compression o Up-to 4x sparsity computation speed up o Fixed point 8-bit weight, 8-bit or 4-bit data precision o Per layer and per channel quantization o Non-power-of-2 quantization  HW based 2-D GEMM engine o 512 MAC for int16 and FP16 o 1024 MAC for int8  HW based 1-D EDP engine o Element wise: add, subtract, mul, max, min, abs, neg, clamp, scale, cmp o Vector reduction: radd, rmax, rmin o Non-linear: tanh, sigmoid, exp, ln, reciprocal
最新发布
04-20
这段翻译讲述的是基于硬件的神经网络(BSNN)的结构和功能。硬件上，BSNN拥有专门用于控制逻辑和自定义操作的800MHz DSP，以及用于3D CNN MAC的阵列计算的硬件。3D张量MAC数组具有高利用率，支持结构权重剪枝和压缩，最多可以实现4倍稀疏计算加速，使用定点8位权重，8位或4位数据精度，支持每层和每通道量化，以及非2的指数量化。此外，BSNN还拥有基于硬件的2D GEMM引擎，提供512个MAC用于int16和FP16，以及1024个MAC用于int8，以及基于硬件的1D EDP引擎，支持各种元素间运算、向量降维和非线性运算，如tanh、sigmoid、exp、ln和reciprocal等等。 BSNN是指基于硬件的神经网络，拥有专门的硬件进行计算，具有高效、快速的计算能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值