LSQ+: Improving low-bit quantization through learnable offsets and better initialization

最新推荐文章于 2022-08-07 18:34:37 发布
最新推荐文章于 2022-08-07 18:34:37 发布
阅读量1.4k 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/105975948
版权
LSQ+是针对LSQ（Learned Step-size Quantization）的改进，通过学习调整量化间隔和引入可学习参数β优化激活值量化。在处理如Swish、H-Swish等负值非零的激活函数时，LSQ+采用可学习的β避免精度损失，同时在权重量化中保持对称性。此外，LSQ+改进了初始化策略，如权重的s值初始化，以提高模型准确性。实验表明，不同的初始化方法在不同情况下效果各异，需要根据实际情况选择合适的方法。
摘要由CSDN通过智能技术生成

本文是对lsq：Learned Step-size Quantization的改进。

关于lsq，这篇文章讲得很清楚：
https://blog.csdn.net/nature553863/article/details/104275477
简单来说，就是通过学习来确定量化间隔。

在lsq提出时，当时流行的激活函数是ReLU。它的特点是，将小于0的激活值都置为0，因此lsq在量化激活值时使用非对称量化：即只量化正的激活值，负值直接量化为0。这在当时是没问题的，但后来swish、H-swish以及Leaky-ReLU这类负值区域的激活值不为0的激活函数被提出，如果再这样做，就会导致精度的下降(lsq+的作者通过实验证明了这一点)。

在这里插入图片描述
在这里插入图片描述
但是如果采取和量化权重一样的，对称量化激活值也会带来一个问题：量化的间隔是有限的，分出一半给负值就会减少正值的表示能力，而且负值区域相较正值来说要少很多，这样做并不值得。

为了解决这个问题，lsq+的作者给激活值加了一个可学习参数β：
在这里插入图片描述

最低0.47元/天 解锁文章
JachinMa
关注
【论文阅读】SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT co
zoetu
12-05 199
SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT compression
论文阅读——LSQ+: Improving low-bit quantization through learnable offsets and better initialization
qq_37151108的博客
10-02 4961
LSQ+: Improving low-bit quantization through learnable offsets and better initialization from Qualcomn AI Research | Seoul National University CVPR2020 LSQ+：通过学习偏移和更好的初始化改进LSQ Abstract 新的激活函数，如Swish，Mish不像ReLU只有非负值，而是有正有负，而传统的无符号量化策略会将所有负的激活值量化为0，从而导致性能的显著
Paper Reading||Improving low-bit quantization through learnable offsets and better initialization
Mr_Menace的博客
10-03 330
LSQ 只适用于激活函数为 ReLU 的模型，即只适用于 Activation 为非负分布的模型，不适用于激活函数为 Swish\Leaky-ReLU 等的模型。基于梯度的可学习量化方案其实不太稳定，需要更完美的超参数。
Improving Transformer Optimization Through Better Initialization
QingerBig的博客
03-12 650
在本文中，作者对Transformer难以优化这一问题进行了探究，并对模型的初始化方法提出了改进。 在Transformer框架中，self-attention的引入使得模型变得难以优化，想要有效的对其进行优化必须使用一些训练上的技巧，如learning rate warmup。 本文作者的贡献主要在以下两个方面： 分析了transformer难以被优化的原因。 提出了一种新的权重初始化策略，使用该策略可以使得模型在没有warmup和LN的情况下被训练。 Transformer的成功训练一般需要以下因素：
LSQ量化方法
sunnygirl's house
08-07 560
https://www.pianshen.com/article/35851937192/ https://www.pianshen.com/article/10651233148/
LSQ+的pytorch实现
qq_40268672的博客
10-17 919
import torch.nn as nn import torch.nn.functional as F from torch.autograd import Function class Round(Function): @staticmethod def forward(self, input): output = torch.round(input) return output @staticmethod def backward
模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解
Mr_Menace的博客
08-20 2893
本人初入模型量化的坑，对量化的一些过程还不是很理解，于是做了一些可视化的小实验，来帮助更好地理解公式。
基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization
AI Flash
02-12 6446
Paper地址：https://arxiv.org/abs/1902.08153 GitHub地址 (PyTorch)：https://github.com/zhutmost/lsq-net 基本量化设置 计算结点伪量化： Weight跟Activation都采用Per-tensor量化； Scaling factor (Paper标记为Step size)是可学习参数； 量化计算公式...
leetcode中国-ESTR2102-Practice:ESTR2102-练习
06-29
leetcode中国ESTR2102-练习 这个存储库存储了我在香港中文大学（CUHK）课程 CSCI2100A/ESTR2102 数据结构的问题书中的一些问题的笔记和代码。 代码将从 2021 ...LSQ 3月11日 3.24 树 3月12日 3.25 树
【C语言】循环练习 1到100含整数9的有多少个 计算1/1-1/2+1/3-1/4+1/5.......+ 1/99 - 1/100的值，打印出结果 求一个数组中的最大值 猜数字小游戏
m0_58465176的博客
03-20 898
//1到100含整数9的有多少个 #include<stdio.h> int main() { int i = 0; int count = 0; for (i = 0; i < 100; i++) { if (i % 10 == 9) { count++; } if (i / 10 == 9) { count++; } } printf("1到100中含整数9的有%d\n个", count); } 2.计算1/1-1/2+1/
quantization 顶会文章简介 2017
JachinMa的博客
09-12 557
CVPR 1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
PyTorch1.1入门
JachinMa的博客
06-01 455
What is PyTorch https://blog.csdn.net/JachinMa/article/details/90698749 Autograd:Automatic Differentiation https://blog.csdn.net/JachinMa/article/details/90723001 Torch.Sparse https://blog.csdn.net/Ja...
论文阅读——LSQ:Learned Step Size Quantization
qq_37151108的博客
09-18 5453
LSQ:基于可训练Step_size的低比特量化 from IBM Research Abstract 神经网络以低精度在运行推理时具有低功耗和更易于存储的优势，但却牺牲了精度，因此本文就致力于解决这一问题。本文提出的LSQ量化方案应用在不同架构时，在ImageNet数据集上均达到了SOTA，其中权重和激活值量化到了2、3、4bit，以及量化位数为3bit时达到了全精度模型的精度。LSQ在现有的学习权重量化的基础上改进了量化器（quantizer)本身的配置方式;值得一提的是引入了一种新的梯度损失，用于估计
【量化】——LSQ算法原理理解
怡宝2号
08-07 5548
LSQ中tensor的量化过程和伪量化一样，而其核心：scale不是通过tensor计算而来，而是将其作为一个可学习参数，通过训练得来
quantization 顶会文章简介 2018
JachinMa的博客
09-14 907
1、Model compression via distillation and quantization 深度神经网络持续地在图像分类到翻译或强化学习的任务上取得重大进展。其中一个受到大量关注的领域是在资源限制的环境下，如移动设备或嵌入式设备，来高效地执行深度模型。本文着眼于该问题，并提出了两个压缩算法，它同时利用权重量化和从更大的教师网络到更小的学生网络的蒸馏。作者提出的第一个方法被称为量化...
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 6万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
【论文阅读笔记】Two-Step Quantization for Low-bit Neural Networks
时光机 °的博客
11-10 2058
概要总结   该方法主要就如论文名字一样，把量化激活值和权重的过程分为两步，其主要思想就是先量化激活值再量化权重(以前的方法将激活值和权重一起量化，这样两个量化方向紧密耦合)。   针对量化激活值，提出了稀疏量化方法(作者认为稀疏在网络压缩和加速中能起到很大的作用)。而对于权重量化，将权重量化看成 low-bit 的非线性最小二乘回归问题(对于权重而言，其目的就是得到和原先差不多的输出)。   将...
CNN网络量化--Two-Step Quantization for Low-bit Neural Networks
AI小作坊 的博客
04-24 1574
Two-Step Quantization for Low-bit Neural Networks CVPR2018 https://github.com/wps712/Two-Step-Quantization-AlexNet https://github.com/HolmesShuan/Optimal-Ternary-Weights-Approximation 本文的思路很简单：将CNN网络模...
LSQ++: 提升精度与速度的多码本量化新方法
LSQ++，作为MCQ的一种变体，虽然在实践中展现出显著的速度优势，但在准确性方面并非始终最优。 为了克服这些问题，本工作首先对一系列MCQ基础方法进行了基准测试，确认了LSQ在某些场景下的速度优势，同时指出其在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值