基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization

已于 2022-02-03 13:59:15 修改
阅读量6.3k 收藏 9
点赞数 3
分类专栏： 深度学习 模型压缩 优化加速 文章标签： 深度学习 量化训练 模型压缩 PyTorch TensorFlow
于 2020-02-12 11:37:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/104275477
版权

Paper地址：https://arxiv.org/abs/1902.08153

GitHub地址 (PyTorch)：GitHub - zhutmost/lsq-net: Unofficial implementation of LSQ-Net, a neural network quantization framework

基本量化设置

  • 计算结点伪量化：
  1. Weight跟Activation都采用Per-tensor量化；
  2. Scaling factor (Paper标记为Step size)作为量化参数，是可训练变量；
  3. 另外，针对TensorRT、MNN等推理引擎，Weight通常执行Per-channel量化，Activation执行Per-tensor量化；为了加快量化训练收敛，Activation的量化参数（可训练）可借助KL量化、或PyTorch observer量化予以初始化，Weight的量化参数则根据absmax方法在线更新；
最低0.47元/天 解锁文章
Law-Yao
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
量化训练之可微量化参数—LSQ
AI小男孩的专栏
04-01 3094
论文解读：LEARNED STEP SIZE QUANTIZATION
slp-lsq：StudentLogic和LeadSquare集成
02-10
StudentLogic和LeadSquared集成与...接收令牌要接收认证令牌，请调用/slp-lsq/oauth/access_token端点： curl -X POST -d“ client_id =您的客户端ID” -d“ client_secret =您的客户端秘密” -d“ grant_type = clie
论文阅读-LEARNED STEP SIZE QUANTIZATION
qq_40268672的博客
10-15 1764
一.Title LEARNED STEP SIZE QUANTIZATION 二.Abstract&Introduction why? 近年来，神经网络作为一种许多革命性技术的组成部分开始崭露头角，比如图像识别、语音识别以及自动驾驶等。但是，要利用好这一技术并大规模应用需要开发者有一个系统性的视角，即要兼顾网络的性能、吞吐率、能效以及紧凑程度。现在很多研究者都致力于在保持网络精度的同时，用低精度的数据去表示权重和激活，这种方法使得模型的大小以及计算量大大降低。因此，如何在降低精度的同时尽可能保持网络
论文阅读——LSQ:Learned Step Size Quantization
qq_37151108的博客
09-18 5276
LSQ:基于可训练Step_size的低比特量化 from IBM Research Abstract 神经网络以低精度在运行推理时具有低功耗和更易于存储的优势，但却牺牲了精度，因此本文就致力于解决这一问题。本文提出的LSQ量化方案应用在不同架构时，在ImageNet数据集上均达到了SOTA，其中权重和激活值量化到了2、3、4bit，以及量化位数为3bit时达到了全精度模型的精度。LSQ在现有的学习权重量化的基础上改进了量化器（quantizer)本身的配置方式;值得一提的是引入了一种新的梯度损失，用于估计
LSQ量化方法
sunnygirl's house
08-07 540
https://www.pianshen.com/article/35851937192/ https://www.pianshen.com/article/10651233148/
Paper Reading||Learned Step Size Quantization
Mr_Menace的博客
09-29 523
早期量化器的参数都是固定的。固定映射方案虽然简单、具有吸引力，但它不能保证优化网络性能。量化误差最小化方案可能会完美地最小化量化误差，但如果不同的量化映射实际上没有最小化任务误差，则仍然不是最佳的。QAT量化如何以最佳方式最大化任务性能，仍然是一个悬而未决的问题。
【量化】——LSQ算法原理理解
怡宝2号
08-07 5275
LSQ中tensor的量化过程和伪量化一样，而其核心：scale不是通过tensor计算而来，而是将其作为一个可学习参数，通过训练得来
量化感知训练——LSQ(一：原理)
最新发布
weixin_42841721的博客
03-03 1645
模型量化知识总结
bounded-lsq:有界的最小二乘优化
05-23
该算法包含在软件包bounded_lsq 。 leastsqbound.py是在包装scipy.otpimize.leastsq这确实有界到无界变量转变。 它是的确切副本，主分支，采取于2015年6月27日，提交937c67500cf9340c31d5cfbbb274894e3b59bd89。 ...
robust-nonlinear-regression:任意非线性函数的鲁棒回归
05-12
robust_lsq.py 麻木models.py 科学的麻木test.py 科学的麻木matplotlib设置请运行test.py以获取使用贝叶斯估计将直线稳固地拟合到数据的示例。它是如何工作的？ 关键思想是确定最适合模型的样本。 使用贝叶斯更新。 ...
基于pytorch的模型稀疏训练与模型剪枝示例
03-05
基于pytorch的模型稀疏训练与模型剪枝示例
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果比对; 3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
lsq:用于查询livestatus API的微型bash框架
05-09
lsq 用于查询livestatus API的微型bash框架 设置 克隆仓库（当然）： $ git clone https://github.com/michaeljmartin/lsq 在主目录中创建一个.lsqrc文件，并设置变量： LSQ_BASEDIR=$HOME/lsq # Path to repo ...
Rayuela.jl：我博士论文的代码。 基于量化的高维快速相似性搜索方法库。 在ECCV 18上展示
02-04
LSQ ++：在多码本量化中，运行时间较短，召回率较高。 在ECCV 2018中。[ ]。 .jl是一个实现非正交多码本量化方法（MCQ）的软件包。 这些方法对于快速搜索高维（d = 100s-1000s）密集向量很有用。 Rayuela用写成。 ...
LSQ:LEARNED STEP SIZE QUANTIZATION论文学习
qq_31993233的博客
04-08 1215
论文链接 摘要 在推理时运行低精度操作的深度网络具有功率和空间优势，但需要克服在精度降低时保持高精度的挑战。在这里，我们提出一种方法来训练这样的网络，学习步长量化，达到最高的精度AmageNet数据集当使用模型，从各种架构，权重和激活量化2,3或4位的精度，可以训练3位模型达到完全精度基线精度。我们的方法建立在现有的在量化网络中学习权重的方法的基础上，通过改进量化器本身的配置方式。具体来说，我们引入了一种新的方法来估计和缩放在每个权重和激活层的量化器步长下的任务损失梯度，这样它就可以与其他网络参数一起学习。
【模型量化】——LSQ-Net: Learned Step Size Quantization论文
怡宝2号
03-05 821
亮点:ICLR2020 论文:https://arxiv.org/pdf/1902.08153.pdf code：非官方实现 摘要 在推理时以低精度操作运行的深层网络具有比高精度替代方案更强大的功耗和空间优势，但是需要克服随着精度降低而保持高精度的挑战。在这里，我们提出了一种用于训练此类网络的方法，即“学习步长量化”，该方法可以在使用模型时在ImageNet数据集上实现迄今为止最高的准确性。各种架构，权重和激活量化为2位，3位或4位精度，并且可以训练达到完全精度基准精度的3位模型。我们的方法建立在现有方.
LEARNED STEP SIZE QUANTIZATION论文复现
qq_40268672的博客
10-15 538
import torch.nn as nn import torch.nn.functional as F from torch.autograd import Function class Round(Function): @staticmethod def forward(self, input): output = torch.round(input) return output @staticmethod def backward
神经网络低比特量化——LSQ
u012347027的博客
08-08 2640
神经网络低比特量化——LSQ摘要方法量化计算公式STEP SIZE GRADIENTSTEP SIZE GRADIENT SCALE直通估计器实验结果Weight DecayImageNetAccuracy VS. Model Size消融实验Step Size Gradient Scale Impact添加知识蒸馏提高精度 本文为IBM的量化工作，发表在ICLR 2020。论文题目：Learned Step Size Quantization。为了解决量化精度越低，模型识别率越低的问题，本文引入了一种新
模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解
Mr_Menace的博客
08-20 2678
本人初入模型量化的坑，对量化的一些过程还不是很理解，于是做了一些可视化的小实验，来帮助更好地理解公式。
CIFAR-10数据集上RESNET-20的LSQ量化模型代码怎么写
02-21
CIFAR-10数据集上的RESNET-20的LSQ量化模型代码的编写有一些步骤，首先需要定义模型，然后实例化数据加载器，然后对模型进行量化，最后训练模型。编写代码时，请参考官方文档，以确保代码的准确性和可执行性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值