DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS

最新推荐文章于 2024-06-19 09:39:32 发布
最新推荐文章于 2024-06-19 09:39:32 发布
阅读量1.5k 收藏 11
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/103980831
版权
Dorefa-Net提出了一种能够在保持模型精度的同时，对权重、激活层和梯度进行任意精度量化的方法。通过使用Straight-Through Estimator (STE)解决量化过程中的不可导问题，它成功地实现了低比特运算的神经网络。实验证明，量化顺序按梯度、激活层、权重的精度降序排列效果最佳。尽管存在一些可以改进的地方，如量化方程和参数设置，但Dorefa-Net为低比特神经网络的实现提供了重要的思路。
摘要由CSDN通过智能技术生成

BNN和异或网将权重和卷积层的值进行量化，进而将在前向传播过程中花费最多的卷积操作转化为了两个bit向量的逐比特的点积：
在这里插入图片描述
这里bitcount计算比特向量中比特的数量。

之前的网络都没能在反向传播保持8比特以下的精度的同时，能够拥有可接受的精度。

dorefa-net的创新点在于：
1、它能够以任意的精度量化权重、激活层和梯度。
2、由于比特卷积可以高效地在各种设备上实现，因此他为在各种软件上实现神经网络提供了方法。
3、实验证明，为了尽可能地保持模型精度，对量化精度的要求的降序排列是梯度、激活层和权重。
4、实验证明了dorefa-net的有效性。

作者强调了一点，在量化权重和激活层时，要用确定的函数来做，但梯度要进行随机量化。

上面提到的x·y是当它们是1比特时的，若它们是多比特的数字，则乘法规则变为：
在这里插入图片描述
其复杂度为O（MK）。

STE

因为我们要用量化的方式来表示数据，那么在计算梯度时就会出现问题：因为量化后的数值的表达能力是有限的，这使得导数并不总是能够正确地表示。

最低0.47元/天 解锁文章
JachinMa
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
安静到无声
08-08 793
2. 方法 2.2 直通估计器 由低位宽kkk表示的实数集只有一个小的数集2k2^k2k。然而，从数学上讲，任何取值范围较小的连续函数相对于其输入都必然具有零梯度。我们采用“直通估计器”(STE)方法 (Hinton et al., 2012b; Bengio et al., 2013) 来规避该问题。可以将 STE视为具有任意前向和后向操作的运算符。 一个简单的例子是为概率为p/in[0,1]p /in [0, 1]p/in[0,1]的Bernoulli抽样定义的STE ...
EfficientNet_Rethinking Model Scaling for Convolutional Neural Networks.pdf
05-20
EfficientNet论文
DOREFA-NET
qq_35608277的博客
03-16 363
DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++2016 论文开源了一个AlexNet的DOREFA-NET实现,可以使得权重、激活和梯度都量化 二值运算还是BNN的bitcount xnor 提出了不同的梯度求法 Dorefa的在W=1,A=1,G...
推荐文章：Pytorch实现的DoReFa-Net——轻量级神经网络压缩新选择
最新发布
gitblog_00051的博客
06-19 289
推荐文章：Pytorch实现的DoReFa-Net——轻量级神经网络压缩新选择 项目地址:https://gitcode.com/zzzxxxttt/pytorch_DoReFaNet 1、项目介绍 在深度学习领域中，模型的复杂性和计算资源的需求日益增加。为了解决这一问题，DoReFa-Net 提出了一种有效的神经网络压缩方案。本项目是DoReFa-Net在PyTorch框架下的实现，旨在让开发者...
【论文阅读笔记】Towards Effective Low-bitwidth Convolutional Neural Networks
时光机 °的博客
11-12 1341
全文概括   该论文主要是介绍了一些训练量化网络的Tricks，其4-bit网络的表现比 5-bit 的INQ网络效果要好一点。   该论文为训练量化网络提供了三个方法： 两步优化策略 ，先量化权重，再量化激活值;（Two-step, TS） 逐步量化 ，在训练过程中逐步减少量化位宽;（Progressive Quantization, PQ） 联合训练 浮点网络和低精度网络;（Guided t...
（QAT）DOREFA-NET：低比特在线量化训练方法
kebijuelun的博客
06-18 1331
Paper name DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS Paper Reading Note URL: https://arxiv.org/pdf/1606.06160.pdf TL;DR 提供了低比特权重、特征、梯度的在线量化训练方案 量化位宽的重要性排序为：梯度>特征>权重，所以实验中的配比建议为 1w4f6g（1bit权重，4bit特征，6
论文总结：DoReFa-Net
gcf_uinque的博客
02-11 637
论文地址：https://arxiv.org/abs/1606.06160 官方Tensorflow代码：https://github.com/tensorpack/tensorpack/tree/master/examples/DoReFa-Net PyTorch代码链接：https://github.com/XJTUWYD/DoReFa_Cifar10 主要内容 作者提出了DoReFa-Net...
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
03-18
论文全文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet：对卷积神经网络的模型缩放的重新思考
Towards Effective Low-bitwidth Convolutional Neural Networks
09-18
Towards Effective Low-bitwidth Convolutional Neural Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 通过以上总结，我们可以看到本文针对低精度卷积...
Large-Scale Video Classification with Convolutional Neural Networks
08-06
论文：Large-Scale Video Classification with Convolutional Neural Networks
论文笔记：Dorefa-Net
langzi453的博客
03-05 5710
Dorefa-Net由FACE++提出，论文地址：https://arxiv.org/abs/1606.06160 1、背景： 训练神经网络需要大量的时间，为了减少这些时间，对模型进行量化是个不错的选择。但是，以往的工作没有对梯度/激活函数进行低bit量化并取得好的结果的先例。所以,Dorefa-Net被提了出来。 2、贡献： 提出了可实现任意bit数的权重，激活，梯度的CNN架构 其可...
深度学习算法优化系列十二 | 旷视科技 DoReFa-Net
I good vegetable a!
02-21 1397
摘要 继BNN和XorNet之后，这篇论文提出了DoReFa-Net，它是一种可以使用低位宽参数梯度来训练低位宽权重和激活值的卷积神经网络的方法。特别地，在反向传播传播阶段，参数梯度可以在传递到下一层卷积层之前被随机量化到低位宽。由于前向/反向阶段卷积都是在对低位宽权重和激活值/梯度上操作的，这样DoReFa-Net可以使用低位宽卷积核来加速训练和推理。并且，低位卷积可以在CPU，FPGA，AS...
DoreFa-Net低bit量化学习
qq_38109843的博客
09-29 440
参考文章：https://zhuanlan.zhihu.com/p/163707781 tensorflow实现：https://github.com/tensorpack/tensorpack/tree/master/examples/DoReFa-Net pytorch实现：https://github.com/666DZY666/model-compression
【论文笔记】DOREFA-NET
荆棘鸟的专栏
02-23 3502
论文：《DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++出品 ABSTRACT 论文提出了一种新的网络结构DOREFA-NET，该网络实现了一种多值网络模型，与之前的二值网络、多值网络不同的是，它实现了梯度的量化，而且取得了较好的结果。 con...
【模型量化】——DoreFa-Net理论与实践
怡宝2号
03-05 420
转载自:https://blog.csdn.net/just_sort/article/details/107476947 2.模型
低比特量化之DoreFa-Net理论与实践
I good vegetable a!
07-25 2861
1. 前言 之前已经算是仔细的讲解过DoreFaNet的原理了，见：深度学习算法优化系列十二 | 旷视科技 DoReFa-Net ，所以今天这篇文章的目的是如何将DoreFaNet进行应用，在此之前还是简单回顾原理。 2. DoreFaNet 和前面我们讲过的BNN和TWN相比，DoreFa-Net并没有针对卷积层输出的每一个 ...
量化网络训练--Towards Effective Low-bitwidth Convolutional Neural Networks
AI小作坊 的博客
04-24 1700
Towards Effective Low-bitwidth Convolutional Neural Networks CVPR2018 https://github.com/nowgood/QuantizeCNNModel 本文针对 低 bitwidth CNN网络 提出三个训练技巧 以得到较高精度。这些技巧可以独立使用也可以结合使用。 第一个技巧：首先量化 weight，得到足够好的效果后再...
神经网络压缩综述
热门推荐
yuanCruise
05-04 1万+
1.研究背景 对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多，模型大小由全连接层主导 不显著提高训练时间复杂度，降低预测时间复杂度（计算量） 卷积层计算量大，计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggregated Residual Transformations for Deep Neural Networ...
sa-net: shuffle attention for deep convolutional neural networks
03-16
Shuffle Attention是一种用于深度卷积神经网络的注意力机制，它可以在特征图上进行自适应的通道重组，从而提高网络的性能和泛化能力。该方法通过引入两个注意力模块，即通道注意力和空间注意力，来实现通道重组。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值