DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS

最新推荐文章于 2021-06-18 12:04:21 发布
最新推荐文章于 2021-06-18 12:04:21 发布
阅读量1.5k 收藏 11
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/103980831
版权

BNN和异或网将权重和卷积层的值进行量化，进而将在前向传播过程中花费最多的卷积操作转化为了两个bit向量的逐比特的点积：
在这里插入图片描述
这里bitcount计算比特向量中比特的数量。

之前的网络都没能在反向传播保持8比特以下的精度的同时，能够拥有可接受的精度。

dorefa-net的创新点在于：
1、它能够以任意的精度量化权重、激活层和梯度。
2、由于比特卷积可以高效地在各种设备上实现，因此他为在各种软件上实现神经网络提供了方法。
3、实验证明，为了尽可能地保持模型精度，对量化精度的要求的降序排列是梯度、激活层和权重。
4、实验证明了dorefa-net的有效性。

作者强调了一点，在量化权重和激活层时，要用确定的函数来做，但梯度要进行随机量化。

上面提到的x·y是当它们是1比特时的，若它们是多比特的数字，则乘法规则变为：
在这里插入图片描述
其复杂度为O（MK）。

STE

因为我们要用量化的方式来表示数据，那么在计算梯度时就会出现问题：因为量化后的数值的表达能力是有限的，这使得导数并不总是能够正确地表示。
在这里插图片描述
于是如上图的STE方法就被提出了：
我们不能直接求得q对p的导数，因为伯努利分布

最低0.47元/天 解锁文章
JachinMa
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
安静到无声
08-08 776
2. 方法 2.2 直通估计器 由低位宽kkk表示的实数集只有一个小的数集2k2^k2k。然而，从数学上讲，任何取值范围较小的连续函数相对于其输入都必然具有零梯度。我们采用“直通估计器”(STE)方法 (Hinton et al., 2012b; Bengio et al., 2013) 来规避该问题。可以将 STE视为具有任意前向和后向操作的运算符。 一个简单的例子是为概率为p/in[0,1]p /in [0, 1]p/in[0,1]的Bernoulli抽样定义的STE ...
EfficientNet_Rethinking Model Scaling for Convolutional Neural Networks.pdf
05-20
EfficientNet论文
DOREFA-NET
qq_35608277的博客
03-16 354
DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++2016 论文开源了一个AlexNet的DOREFA-NET实现,可以使得权重、激活和梯度都量化 二值运算还是BNN的bitcount xnor 提出了不同的梯度求法 Dorefa的在W=1,A=1,G...
【论文阅读笔记】Towards Effective Low-bitwidth Convolutional Neural Networks
时光机 °的博客
11-12 1338
全文概括   该论文主要是介绍了一些训练量化网络的Tricks，其4-bit网络的表现比 5-bit 的INQ网络效果要好一点。   该论文为训练量化网络提供了三个方法： 两步优化策略 ，先量化权重，再量化激活值;（Two-step, TS） 逐步量化 ，在训练过程中逐步减少量化位宽;（Progressive Quantization, PQ） 联合训练 浮点网络和低精度网络;（Guided t...
（QAT）DOREFA-NET：低比特在线量化训练方法
kebijuelun的博客
06-18 1269
Paper name DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS Paper Reading Note URL: https://arxiv.org/pdf/1606.06160.pdf TL;DR 提供了低比特权重、特征、梯度的在线量化训练方案 量化位宽的重要性排序为：梯度>特征>权重，所以实验中的配比建议为 1w4f6g（1bit权重，4bit特征，6
论文总结：DoReFa-Net
gcf_uinque的博客
02-11 626
论文地址：https://arxiv.org/abs/1606.06160 官方Tensorflow代码：https://github.com/tensorpack/tensorpack/tree/master/examples/DoReFa-Net PyTorch代码链接：https://github.com/XJTUWYD/DoReFa_Cifar10 主要内容 作者提出了DoReFa-Net...
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
03-18
论文全文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet：对卷积神经网络的模型缩放的重新思考
Towards Effective Low-bitwidth Convolutional Neural Networks
09-18
neural network with both low-precision weights and low-bitwidth activations. Optimizing a low-precision network is very challenging since the training process can easily get trapped in a poor local ...
Large-Scale Video Classification with Convolutional Neural Networks
08-06
论文：Large-Scale Video Classification with Convolutional Neural Networks
论文笔记：Dorefa-Net
langzi453的博客
03-05 5670
Dorefa-Net由FACE++提出，论文地址：https://arxiv.org/abs/1606.06160 1、背景： 训练神经网络需要大量的时间，为了减少这些时间，对模型进行量化是个不错的选择。但是，以往的工作没有对梯度/激活函数进行低bit量化并取得好的结果的先例。所以,Dorefa-Net被提了出来。 2、贡献： 提出了可实现任意bit数的权重，激活，梯度的CNN架构 其可...
深度学习算法优化系列十二 | 旷视科技 DoReFa-Net
I good vegetable a!
02-21 1366
摘要 继BNN和XorNet之后，这篇论文提出了DoReFa-Net，它是一种可以使用低位宽参数梯度来训练低位宽权重和激活值的卷积神经网络的方法。特别地，在反向传播传播阶段，参数梯度可以在传递到下一层卷积层之前被随机量化到低位宽。由于前向/反向阶段卷积都是在对低位宽权重和激活值/梯度上操作的，这样DoReFa-Net可以使用低位宽卷积核来加速训练和推理。并且，低位卷积可以在CPU，FPGA，AS...
DoreFa-Net低bit量化学习
qq_38109843的博客
09-29 429
参考文章：https://zhuanlan.zhihu.com/p/163707781 tensorflow实现：https://github.com/tensorpack/tensorpack/tree/master/examples/DoReFa-Net pytorch实现：https://github.com/666DZY666/model-compression
【论文笔记】DOREFA-NET
荆棘鸟的专栏
02-23 3480
论文：《DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++出品 ABSTRACT 论文提出了一种新的网络结构DOREFA-NET，该网络实现了一种多值网络模型，与之前的二值网络、多值网络不同的是，它实现了梯度的量化，而且取得了较好的结果。 con...
【模型量化】——DoreFa-Net理论与实践
怡宝2号
03-05 415
转载自:https://blog.csdn.net/just_sort/article/details/107476947 2.模型
低比特量化之DoreFa-Net理论与实践
I good vegetable a!
07-25 2745
1. 前言 之前已经算是仔细的讲解过DoreFaNet的原理了，见：深度学习算法优化系列十二 | 旷视科技 DoReFa-Net ，所以今天这篇文章的目的是如何将DoreFaNet进行应用，在此之前还是简单回顾原理。 2. DoreFaNet 和前面我们讲过的BNN和TWN相比，DoreFa-Net并没有针对卷积层输出的每一个 ...
量化网络训练--Towards Effective Low-bitwidth Convolutional Neural Networks
AI小作坊 的博客
04-24 1679
Towards Effective Low-bitwidth Convolutional Neural Networks CVPR2018 https://github.com/nowgood/QuantizeCNNModel 本文针对 低 bitwidth CNN网络 提出三个训练技巧 以得到较高精度。这些技巧可以独立使用也可以结合使用。 第一个技巧：首先量化 weight，得到足够好的效果后再...
神经网络压缩综述
热门推荐
yuanCruise
05-04 1万+
1.研究背景 对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多，模型大小由全连接层主导 不显著提高训练时间复杂度，降低预测时间复杂度（计算量） 卷积层计算量大，计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggregated Residual Transformations for Deep Neural Networ...
超全总结：神经网络加速之量化模型 | 附带代码
Paper weekly
06-01 6237
作者丨郝泽宇学校丨西安交通大学人机所硕士生研究方向丨深度神经网络压缩鸣谢 | XJTU @魏亚东 I.C. @董豪量化模型（Quantized Model）是一种模型加速...
sa-net: shuffle attention for deep convolutional neural networks
最新发布
03-16
Shuffle Attention是一种用于深度卷积神经网络的注意力机制，它可以在特征图上进行自适应的通道重组，从而提高网络的性能和泛化能力。该方法通过引入两个注意力模块，即通道注意力和空间注意力，来实现通道重组。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值