【论文笔记】二值化神经网络（Binarized Neural Network）

最新推荐文章于 2023-10-08 08:03:35 发布
最新推荐文章于 2023-10-08 08:03:35 发布
阅读量1.7w 收藏 29
点赞数 2
分类专栏： 计算机视觉 文章标签： 神经网络 二值化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elaine_bao/article/details/50950969
版权
本文介绍了二值化神经网络（BNN），通过二值化权重和激活值来提高神经网络的速度并降低内存需求。Binarization Function使用Htanh近似以解决反向传播问题。网络前向传播和反向传播过程进行了详细说明，输入层特征通过8比特编码实现二值化。实验结果显示，BNN在测试速度和内存占用方面显著优于32bit float DNN，但在训练速度上较慢，精度相近。
摘要由CSDN通过智能技术生成

文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。

文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。

1. Binarization Function

首先是如何对weights和activations进行二值化。如下图左，Binarization function 很简单，就是一个符号函数。但是作者就想了啊，符号函数不好进行梯度的反向传播啊，因此就把它近似成了右边的Htanh(x)的函数，这样在[-1,1]区间内导数就等于1。
这里写图片描述

2. 网络前向传播

那么除第一层（输入层）以外，每一层的前向传播过程如下：
这里写图片描述

首先权重 Wk 经过二值化，然后与上层二值化后的激活值

最低0.47元/天 解锁文章
Elaine_Bao
关注
  • 2
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
文献阅读 - Binarized Neural Networks
Always On The Way
06-06 770
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 M. Courbariaux M, et al., Binarized Neural Networks: Training Deep Neural Networks with W...
深度学习【6】二值网络（Binarized Neural Networks）学习与理解
热门推荐
DCD_LIN的博客
03-29 1万+
http://blog.csdn.net/linmingan/article/details/51008830           Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or−1的工作是基于BinaryConnect: Training...
二值神经网络综述（Binary Neural Networks: A Survey）【北航】.pdf
04-10
在本文中，我们对这些算法进行了全面的概述，主要分为直接进行二值化的本机解决方案，以及使用使量化误差最小化，改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。我们还将研究二进制神经网络的其他实用方面，例如硬件友好的设计和训练技巧。然后，我们对不同的任务进行了评估和讨论，包括图像分类，对象检测和语义分割。最后，展望了未来研究可能面临的挑战。
模型压缩明珠：二值化网络
m0_37046057的博客
01-14 2215
相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累加等复杂的运算来实现卷积操作，从而节省了大量的内存和计算，大大方便了模型在资源受限设备上的部署。
二值网络--Binarized Neural Networks
AI小作坊 的博客
04-22 1593
Binarized Neural Networks NIPS2016 https://github.com/MatthieuCourbariaux/BinaryNet 本文针对二值网络提出了 训练方法 1 Binarized Neural Networks Deterministic vs Stochastic Binarization 二值化函数 我们对 weights 和 activatio...
PyTorch应用实战五：实现二值化神经网络
兔子王
10-08 1479
二值化网络（BinaryNet）是一种深度学习网络类型，使用二进制（1和0）代替浮点数作为网络的输入和参数。这种网络类型由加拿大的Yaroslav Bulatov和Artem Babenko在2016年提出。二值化网络的独特之处在于它通过使用二进制数值（1或-1）来代替常规的浮点数，极大地减少了神经网络中的存储空间和计算量。这大大提高了神经网络的处理速度和效率，并使其在较小的处理器和设备上的应用更加可行。在传统的神经网络中，每个神经元的输出值在0到1之间取值。
Binarized Neural Networks - Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 - 2016 (1602.02830v3)-计算机科学
04-22
Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1Matthieu Courbariaux*1 MATTHIEU.COURBARIAUX@GMAIL.COM Itay Hubara*2 ITAYHUBARA@GMAIL.COM Daniel Soudry3 DANIEL.SOUDRY@GMAIL.COM Ran El-Yaniv2 RANI@CS.TECHNION.AC.IL Yoshua Bengio1,4 YOSHUA.UMONTREAL@GMAIL.COM 1Université de Montréal 2Technion - Israel Institute of Technology 3Columbia University 4CIFAR Senior Fellow *Indicates equal contribution. Ordering determined by coin flip.Abstract We
二值神经网络（Binary Neural Network，BNN）
edward_zcl的博客
08-15 3385
缺点：BNN在训练过程中仍然需要保存实数的参数，这是整个计算的瓶颈。BNN虽然需要保存实数的参数，但是实数范围是[-1,1]，所以可以做压缩，即使用16bit或者更少的位数来表示浮点数。模型尺寸变小，正向传播计算速度变快，意味着可以将正向传播层放到客户端去做了，虽然随着网络带宽的增大，给服务器传个图片也么啥。将图像的特征学习和哈希码学习可以无缝整合到一起，因为都是二值化。暂时就这些！...
Binarized Neural Networks:Training Deep Neural Networks with Weights and Activations -1,1
langzi453的博客
03-04 2225
文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 这是2016年的一篇关于模型量化的文章。 1、背景： 在网络量化中，有一种极为诱惑的量化方式：1bit量化——极致的压缩！但是1bit的网络在训练时有诸多细节需要完...
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
sBP.zip_BP neural network_二维数据预测_神经网络 二维
09-24
标题中的“sBP.zip_BP neural network_二维数据预测_神经网络 二维”表明这是一个关于使用BP（Backpropagation）神经网络进行二维数据预测的项目。BP神经网络是一种经典的监督学习算法，广泛应用于模式识别、函数...
基于二值化卷积神经网络的农业病虫害识别.pdf
09-25
基于二值化卷积神经网络的农业病虫害识别 本文主要研究基于二值化卷积神经网络的农业病虫害识别方法，旨在提高植物病虫害的识别准确率和计算速度。该方法通过对卷积神经网络模型的权值进行二值化，以提高计算速度，...
Perceptron_Neural_Network_神经网络感知机_人工神经网络_
09-30
感知机（Perceptron）是人工神经网络的一种基本模型，它在机器学习领域具有重要的地位，特别是在二分类问题上。感知机由美国心理学家弗兰克·罗森布拉特于1957年提出，它是最早期的神经网络模型之一，也是现代深度...
BP_Neural_Network-1.4_人工神经网络_
10-01
**BP神经网络详解** BP（Backpropagation）神经网络是一种广泛应用的人工神经网络模型，尤其在函数拟合、模式识别和预测等领域具有...在"BP_Neural_Network-1.4"中，你将有机会亲手实践这个过程，体验神经网络的力量。
二值化网络的发展——从原始BNN到MeliusNet
weixin_43082868的博客
07-04 1938
二值化网络的发展 一.开山之作——Binarized Neural Networks 本文题目为《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》 文章主要内容 本文提出了一种新的轻量级网络——二值化网络。二值化网络即将网络中权重固定为-...
Binarized Neural Networks
gcf_uinque的博客
03-04 231
论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码： Theano框架：https://github.com/MatthieuCourbariaux/BinaryNet Torch框架：https://github.com/itayhubara/BinaryNet 主要内容 BNNs是在CNNs的基础上，将权重和激活值量化为1bit，即取值为+1和-1，这样前...
是二值化神经网络不是贝叶斯神经网络
最新发布
07-06
二值化神经网络（Binary Neural Network，BNN）是一种特殊的神经网络架构，其中权重和激活函数都被限制为二进制数值，通常取0和1。这种设计的主要目的是为了提高模型的存储效率、计算速度以及硬件兼容性，因为它可以直接利用CMOS硬件的开关特性。在传统的全精度神经网络中，参数都是实数，而在BNN中，通过量化过程将这些参数转化为二位表示，这可能导致信息丢失，但同时也带来了模型简化和计算加速的优点。 与之相对的是，贝叶斯神经网络（Bayesian Neural Network，BNN），它并不局限于二值，而是采用贝叶斯统计框架来处理不确定性。每个神经元的权重不再是固定的，而被视为随机变量，其分布可以被建模并更新。这样做的目标是赋予模型概率解释，并能处理数据中的噪声和未知性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值