神经网络压缩（５）：BinaryNet

最新推荐文章于 2024-04-22 22:11:39 发布
最新推荐文章于 2024-04-22 22:11:39 发布
阅读量1.5k 收藏
点赞数
分类专栏： 深度学习 模型压缩 文章标签： 神经网络 深度学习 压缩

转载自：http://blog.csdn.net/jackytintin/article/details/53445280

1. 动机

深度学习在图像、语音、文本等领域都取得了巨大的成功，推动了一系列智能产品的落地。但深度模型存在着参数众多，训练和 inference 计算量大的不足。目前，基于深度学习的产品大多依靠服务器端运算能力的驱动，非常依赖良好的网络环境。

很多时候，出于响应时间、服务稳定性和隐私方面的考虑，我们更希望将模型部署在本地（如智能手机上）。为此，我们需要解决模型压缩的问题——将模型大小、内存占用、功耗等降低到本地设备能够承受的范围之内。

2. 方法

神经网络具有分布式的特点——特征表征和计算都分散于各个层、各个参数。因此，神经网络在结构上天然具有冗余的特点。冗余是神经网络进行压缩的前提。

压缩模型一般可以有几种常见的方法：

2.1 使用小模型

设计小模型

可以直接将模型大小做为约束，在模型结构设计和选择时便加以考虑。对于全连接，使用 bottleneck 是一个有效的手段（如 LSTMP）。Highway，ResNet，DenseNet 等带有 skip connection 结构的模型也被用来设计窄而深的网络，从而减少模型整体参数量和计算量。对 CNN 网络，SqueezeNet 通过引入1 x 1的小卷积核、减少 feature map 数量等方法，在分类精度与 AlexNet 相当的前提下，将模型大小压缩在 1M 以内，而模型大小仅是 Alexnet 的50分之一。

模型小型化

一般而言，相比于小模型，大模型更容易通过训练得到更优的性能。那么，能否用一个较小的模型，“提炼”出训练好的大模型的知识能力，从而使得小模型在特定任务上，达到或接近大模型的精度？Knowledge Distilling(e.g. 1、2)便尝试解决这一问题。knowledge distilling 将大模型的输出做为 soft target 来训练小模型，达到知识“凝练“的效果。实验表明，distilling 方法在 MNIST 及声学建模等任务上有着很好的表现。

2.2 利用稀疏性

我们也可以通过在模型结构上引入稀疏性，从而达到减少模型参数量的效果。

裁剪已有模型

将训练好的模型进行裁剪的方法，至少可以追溯到90年代。 Optimal Brain Damage 和 Optimal Brain Surgeon 通过一阶或二阶的梯度信息，删除不对性能影响不显著的连接，从而压缩模型规模。

学习稀疏结构

稀疏性也可以通过训练获得。更近的一系列工作（Deep compression: a、b 、c 及 HashedNets）在控制模型性能的前提下，学习稀疏的模型结构，从而极大的压缩模型规模。

2.3 降低运算精度

不同传统的高性能计算，神经网络对计算精度的要求不高。目前，基本上所有神经网络都采用单精度浮点数进行训练（这在很大程度上决定着 GPU 的架构设计）。已经发布的 NVIDIA Pascal 架构的最大特色便是原生的支持半精度（half float）运算。在服务端，FPGA 等特殊硬件在许多数据中心得到广泛应用，多采用低精度（8 bit）的定点运算。

参数量化

除了使用低精度浮点运算（float32, float16）外，量化参数是另一种利用简化模型的有效方法。
将参数量化有如下二个优势：
* 减少模型大——将 32 或 16 位浮点数量化为 8 位甚至更少位的定点数，能够极大减少模型占用的空间；
* 加速运算——相比于复杂的浮点运算，量化后的定点运算更容易利用特殊硬件（FPGA，ASIC）进行加速。

上面提到的 Deep Compression 使用不同的位数量化网络。Lin 等的工作，在理论上讨论上，在不损失性能的前提下，CNN 的最优量化策略。此外，还有量化 CNN 和 RNN 权值的相关工作。

参数二值化

量化的极限是二值化，即每一个参数只占用一个 bIt。本文讨论的正是这个种压缩模型的方法。

3. BinaryNet

BinaryNet [1] 研究对象是前馈网络（全连接结构或卷积结构）（这方法在 RNN 上并不成功 [4]）。这里，我们更关心权值的二值化对 inference 的精度和速度的影响，而不关心模型的训练速度（量化梯度以加速模型训练的工作可以参见 [3]）。

前馈模型（卷积可以看成是一种特殊的全连接）可以用如下公式表示：

1 if x≥0,−1 其他

其中，xk 成为冗余项，不再考虑。

3.1. 二值化权值和激活

首先，我们定义取符号操作：

sign(x)={1 if x≥0,−1 其他
sign(x) = \{

在 BinaryNet 中，网络权值为 +1 或 -1，即可以用 1bit 表示，这一点与 BinaryConnect 相同。更进一步，BinaryNet 使用了输出为二值的激活函数，即：

σ(x)=sign(x)

这样，除了第一层的输入为浮点数或多位定点数外，其他各层的输入都为 1 bit。

3.2. 训练

BinaryNet 二值化权值和激活的思路很容易理解，但关键在于，如何有效地训练网络这样一个二值网络。

[1] 提出的解决方案是：权值和梯度在训练过程中保持全精度（full precison），也即，训练过程中，权重依然为浮点数，训练完成后，再将权值二值化，以用于 inference。

权值

在训练过程中，权值为 32 位的浮点数，且取值值限制在 [-1, 1] 之间，以保持网络的稳定性。为此，训练过程中，每次权值更新后，需要对权值 W。

前向

前向运算时，我们首先得到二值化的权值：Wkb=sign(Wk),k=1,⋯,n
然后，用 Wkb：

xk=σ(BN(Wkb⋅xk−1)=sign(BN(Wkb⋅xk−1))

其中，BN(⋅) 为 Batch Normalization 操作。

后向

根据误差反传算法（Backpropagation，BP），由于 sign(⋅)。这样，BinaryNet 就可以和序普通的实值网络一样，使用梯度下降法进行优化。
另外，如果激活值（二值化之前）的绝对值大于1，相应的梯度也要置零，否则会影响训练效果。

3.4. 性能

模型精度

BinaryNet 在 MNIST (MLP) ，CIFAR10、SVHN（CNN）上取得了不错的结果（表1第二列）。

数据集论文结果squared hinge loss (同论文)xent loss
MNIST (MLP)0.96%1.06%1.02%
CIFAR10 (CNN)11.40%11.92%11.91%
SVHN (CNN)2.80%2.94%2.82%

表 1 不同数据集上错误率

压缩效果

二值化网络在运算速度、内存占用、能耗上的优势是显而易见的，这也是我们对二值化感兴趣的原因。[1] 中给出了这方面的一些分析，具体可以参见 [1]（Section 3），此处不再赘述。

4. Source Code

4.1 训练

BinaryNet[1]的作者给出了 theano 和 torch 两个版本，两者之间略有不同。theano 采用确定性（deterministic）的二值化方式，而 torch 是随机化（stochastic）的二值化，并且 torch 版对 Batch Normalization 操作也进行了离散化处理。具体差异可以参见论文。

根据文章 theano 版本的实现，我们有基于 Keras 的实现。这个版本利用了一个 trick ，实现了梯度的 straight-through estimator。

理想情况下，theano 和 tensorflow 在做 Graph 优化时，应该能够优化掉这个 trick 带来的性能开销，但对于MLP， tensorflow 的后端明显比 theano 慢（~235s vs. ~195s），但不清楚是否是两者对 Graph 优化能力差异造成的。

在 MNIST、CIFAR10 和 SVHN 数据集上，基本复现了文章的结果（见表1. 三、四列）

与文章声称的不同，目标函数分别选择交叉熵（crossentropy, xent）与合叶损失（L2-SVM）时，在三个数据集上的性能几乎没有判别，甚至交叉熵还要略好一些。

另外，感兴趣的读者可以参考基于 pytorch 的实现。

4.2 Inference

正如上面介绍的，BinaryNet 的最大优点是可以 XNOR-计数 运算替代复杂的乘法-加法操作。[1] 给出了二值网络 inference 的基于 CUDA 的 GPU 参考实现。另外，还有基于 CPU 的实现（其基于 tensorflow 的训练代码有些小问题）。[2] 报告了基于 FPGA 的实现及加速效果。

5. 结语

  • 在小型任务上，BinaryNet 完全有希望满足精度要求。目前手里没有真实应用的数据（如语音的静音检测），不能进一步验证可行性。
  • 至于 BinaryNet 在大型任务上的性能，从 [5][6] 报告的 ImageNet 准确率来看， 性能损失还是比较大的。更高的量化精度似是必须的[4][7]。
  • 此外，根据实验经验，BinaryNet 的训练不太稳定，需要较小的学习率，收敛速度明显慢于实值网络。

References

  1. Courbariaux et al. Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1.
  2. Umuroglu et al. FINN: A Framework for Fast, Scalable Binarized Neural Network Inference.
  3. Lin et al. Neural Networks with Few Multiplications.
  4. Ott et al. Recurrent Neural Networks With Limited Numerical Precision.
  5. Zhou et al. DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients.
  6. Rastegari et al. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks.
  7. Hubara et al. Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations.

Further Readings

Reference:

文章阅读笔记：http://blog.csdn.net/stdcoutzyx/article/details/50926174
文章阅读笔记：http://www.infocool.net/kb/WWW/201705/351036.html
什么是二值神经网络，知乎：https://www.zhihu.com/question/41957384

cookie_234
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BinaryNet:使用权重和激活限制为+1或-1的深层神经网络
05-12
二进制网 该存储库可以复制本文中描述的实验： 它分为两个子存储库： 训练时间可以重现文章中报告的基准结果 运行时演示了本文中介绍的XNOR和基准GPU内核
二值神经网络（Binary Neural Network，BNN）
edward_zcl的博客
08-15 2835
缺点：BNN在训练过程中仍然需要保存实数的参数，这是整个计算的瓶颈。BNN虽然需要保存实数的参数，但是实数范围是[-1,1]，所以可以做压缩，即使用16bit或者更少的位数来表示浮点数。模型尺寸变小，正向传播计算速度变快，意味着可以将正向传播层放到客户端去做了，虽然随着网络带宽的增大，给服务器传个图片也么啥。将图像的特征学习和哈希码学习可以无缝整合到一起，因为都是二值化。暂时就这些！...
利用BP神经网络实现图像压缩.zip
04-27
利用BP神经网络实现图像压缩.zip，修改隐含层神经元个数N可以调节图像压缩的质量，默认N=10;详细内容可参考文章：https://wendy.blog.csdn.net/article/details/130398763
二值化神经网络
xiangpijiao的博客
04-17 3362
 什么是二值化网络二值化神经网络，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。当权重值和激活函数值同时进行二值化之后，原来32个浮点型数的乘加运算...
使用binary-wang开发微信小程序的登录和微信支付
hardworking_boy的博客
05-08 5710
使用binary-wang开发微信小程序的登录和支付
模型压缩之 BinaryNet
热门推荐
丁丁的博客
12-03 1万+
1. 动机 深度学习在图像、语音、文本等领域都取得了巨大的成功，推动了一系列智能产品的落地。但深度模型存在着参数众多，训练和 inference 计算量大的不足。目前，基于深度学习的产品大多依靠服务器端运算能力的驱动，非常依赖良好的网络环境。 很多时候，出于响应时间、服务稳定性和隐私方面的考虑，我们更希望将模型部署在本地（如智能手机上）。为此，我们需要解决模型压缩的问题——将模型大小、内存占用...
论文翻译：BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or −1...
weixin_30735745的博客
03-31 678
目录 摘要 引言 1.BinaryNet 符号函数 梯度计算和累积 通过离散化传播梯度 一些有用的成分 算法1 使用BinaryNet训练DNN 算法2 批量标准化转换（Ioffe和Szegedy，2015）...
BNN Pytorch代码阅读笔记
Crayonshin的博客
10-17 4600
BNN Pytorch代码阅读笔记 这篇博客来写一下我对BNN（二值化神经网络）pytorch代码的理解，我是第一次阅读项目代码，所以想仔细的自己写一遍，把细节理解透彻，希望也能帮到大家! 论文链接：https://papers.nips.cc/paper/6573-binarized-neural-networks 代码链接： https://github.com/itayhubara/Bina...
【Paper Reading】二值化网络——BNN
小铁匠的博客
04-10 925
Binarized Neural Networks: Training Neural Networks withWeights and Activations Constrained to +1 or -1 论文链接：https://arxiv.org/abs/1602.02830 代码地址：https://github.com/MatthieuCourbariaux/BinaryNet 2016...
《DEEP GRADIENT COMPRESSION:REDUCING THE COMMUNICATION BANDWIDTH FOR DISTRIBUTED TRAINING》精读
文杰的博客
05-07 2409
DEEP GRADIENT COMPRESSION:REDUCING THE COMMUNICATION BANDWIDTH FOR DISTRIBUTED TRAINING 顶会: ICLR，全称为「International Conference on Learning Representations」（国际学习表征会议）深度学习顶会 摘要 分布式SGD中99.9%的梯度交换是冗余的 Deep Gradient Compression (DGC) 深度梯度压缩方法减少通信带宽并且没有精度的
BinaryNet.tf:张量流中的BNN实现
05-14
BinaryNet.tf 用权重和激活限制为+1或-1的深层神经网络进行训练。 在tensorflow中实施（ ） 这是不完整的使用Binary-Backpropagation算法的BinaryNet训练示例，如“二值化神经网络：使用权重和激活限制为+1或-1的深度神经网络，对以下数据集：Cifar10 / 100进行解释。 请注意，在此文件夹中，我尚未实现（但...）基于班次的BN和基于班次的AdaMax（相反，我只是使用普通的BN和Adam）。 同样，我使用确定性二值化方法，并且不应用GLorot＆Bengio 2010的初始化系数。最后，如果SquareHingeLoss使用“ sparse_softmax_cross_entropy_with_logits”损失代替。 该实现基于但是主要思想可以轻松地转移到任何tensorflow包装器中。 我可能会尽快将其更改为kera
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
神经网络浅讲：从神经元到深度学习
01-27
神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更
深度神经网络压缩综述_李青华.caj
06-13
综述，新手来了解的可以看看
神经网络15：人工神经网络应用
06-09
神经网络15： 从神经元芯片到控制网络.pdf 大规模人工神经网络理论基础.pdf 大脑设计 适应性行为的起源.pdf 电脑人脑化 神经网络.pdf 二进前项人工神经网络----理论及应用.pdf 基于神经网络的智能诊断.pdf 人工神经...
机器学习-10-基于paddle实现神经网络
IT从业者的成长历程
04-22 774
本系列是机器学习课程的系列课程，主要介绍基于paddle实现神经网络。
循环神经网络实例——序列预测
weixin_42255757的博客
04-22 977
本文主要以01序列预测为例讲解了循环神经网络的运行过程，特别是Embedding层的处理过程。
【yolov5&yolov7&yolov8火焰和烟雾检测】
最新发布
小秋的博客
04-22 1020
1、YOLOv3训练好的火焰烟雾检测模型，包括yolov3-fire_smoke.pt和yolov3_tiny-fire_smoke.pt两个训练好的模型，并包含几百张标注好的火焰和烟雾数据集，标签格式为xml和txt两种，类别名为fire和smoke，YOLOv5训练好的火焰检测模型，并包含2000张标注好的火焰和烟雾数据集，标签格式为xml和txt两种，类别名为fire，2、采用pytrch框架，代码是python的。采用pytrch框架，代码是python的。YOLOv5训练好的模型+pyqt界面。
深度学习从入门到精通—Transformer
swpucwf的博客
04-22 990
梯度消失和梯度爆炸：这是RNN最主要的问题。由于序列的长距离依赖，当错误通过层传播时，梯度可以变得非常小（消失）或非常大（爆炸），这使得网络难以学习。计算效率低：RNN由于其递归性质，必须按序列顺序执行计算，这限制了计算的并行性。对于长序列，这会导致训练过程非常慢。难以捕捉长距离依赖：尽管理论上RNN能够处理任何长度的序列，但在实践中，它们往往难以学习到输入序列中的长距离依赖关系。
图像压缩：卷积神经网络与 JPEG
10-09
卷积神经网络和JPEG都能用于图像压缩，它们的原理略有不同。JPEG使用了离散余弦变换和量化来减少图像数据量，而卷积神经网络则通过编码器和解码器之间的卷积层来减少图像数据量。具体来说，编码器将图像压缩为较小的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值