深度学习算法优化系列十 | 二值神经网络(Binary Neural Network，BNN)

最新推荐文章于 2024-08-30 08:00:42 发布
最新推荐文章于 2024-08-30 08:00:42 发布
阅读量1.7k 收藏 10
点赞数 3
分类专栏： 深度学习论文阅读及算法详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/just_sort/article/details/104273244
版权

前言

昨天介绍的BinaryConnect提出将浮点权重量化到1bit，提出了完整的量化权重训练/测试流程，并且从带噪声权重的角度来解释了量化权重。但这种方法还有一个缺点，即并没有对激活函数进行量化，所以Bengio大神在2016年发表了这篇Binary Neural Network，论文原文和代码链接见附录。

BNN算法

二值化的方法

二值化方法主要有两种，确定式二值化和随机式二值化。二值化将float类型权重转换为两个值，一个非常简单直接的二值化操作基于符号函数：
在这里插入图片描述
其中 w b w_b wb​是二值化权重， w w w是实值权重。这是一个确定式的二值化操作，另外一种方案是随机二值化，即以一定的概率更新值：

在这里插入图片描述
其中 σ ( x ) = c l i p ( x + 1 2 , 0 , 1 ) = m a x ( 0 , m i n ( 1 , x + 1 2 ) ) \sigma(x)=clip(\frac{x+1}{2},0,1)=max(0,min(1,\frac{x+1}{2})) σ(x)=clip(

最低0.47元/天 解锁文章
二值化神经网络
xiangpijiao的博客
04-17 3574
 什么是二值化网络二值化神经网络，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。当权重值和激活函数值同时进行二值化之后，原来32个浮点型数的乘加运算...
二进制神经网络综述——《Binary neural networks: A survey》阅读笔记
最新发布
DuHz的博客
04-10 712
论文《Binary neural networks: A survey》对二进制神经网络(BNNs)的研究进行了全面的概述，本文将详细介绍这篇文章。
二值神经网络（Binary Neural Network，BNN）
热门推荐
雨石
03-18 6万+
在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。
二值二值神经网络（Binary Neural Networks）
dn_us的博客
09-13 2092
二值化权重和激活传播：重复步骤2和步骤4，将隐藏层1的二值化激活值与隐藏层2之间的权重进行点乘运算，得到隐藏层2的输入。假设我们的隐藏层2与隐藏层1之间的权重被二值化为{-1, +1}，表示为W2，隐藏层2的输入为H2，大小为128。假设我们的输出层与隐藏层2之间的权重被二值化为{-1, +1}，表示为W3，输出层的输入为O，大小为10。二值化激活函数：将隐藏层1的加权和输入到二值化的激活函数中，如硬件阈值函数。二值化激活函数：将隐藏层2的加权和输入到二值化的激活函数中，得到隐藏层2的二值化激活值。
二值神经网络（Binary Neural Networks）最新综述
Paper weekly
03-12 8045
作者｜秦浩桐、龚睿昊、张祥国单位｜北京航空航天大学研究方向｜网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary ...
神经网络损失函数特别大_二值神经网络（Binary Neural Networks）最新综述
weixin_39750195的博客
11-21 1219
作者｜秦浩桐、龚睿昊、张祥国单位｜北京航空航天大学研究方向｜网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Survey，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮...
Training-Tricks-for-Binarized-Neural-Networks:二值神经网络训练技巧的集合
05-16
进一步提供了一个开源深度学习库，用于训练具有极低精度权重和激活的神经网络，例如Binarized Neural Networks（BNN）。 1.修改后的ResNet块结构 class BinActiveF ( torch . autograd . Function ): def forward...
【论文笔记】二值化神经网络（Binarized Neural Network）
elaine_bao的专栏
03-22 1万+
文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。
二值神经网络综述（Binary Neural Networks: A Survey）【北航】.pdf
04-10
在本文中，我们对这些算法进行了全面的概述，主要分为直接进行二值化的本机解决方案，以及使用使量化误差最小化，改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。我们还将研究二进制神经网络的其他实用方面，例如硬件友好的设计和训练技巧。然后，我们对不同的任务进行了评估和讨论，包括图像分类，对象检测和语义分割。最后，展望了未来研究可能面临的挑战。
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
BinaryNet:使用权重和激活限制为+1或-1的深层神经网络
05-12
二进制网 该存储库可以复制本文中描述的实验： 它分为两个子存储库： 训练时间可以重现文章中报告的基准结果 运行时演示了本文中介绍的XNOR和基准GPU内核
二值神经网络（BNN）
m0_52889836的博客
12-28 1387
二值神经网络不是一种新的网络模型，实际上它是一种极致的量化方法——将神经网络的权重和激活量化为1bit。随着神经网络的发展，神经网络的性能越来越高，但是同时，模型的大小也越来越大。对于资源有限，功耗又有要求的边沿设备，多数神经网络模型不适合进行部署，这限制了深度学习的发展。因此出现了许多模型压缩的方法，比如知识蒸馏、剪枝、量化等等。二值神经网络（BNN）的前身可以追溯到BWN，他只是将神经网络的权值进行二值量化，激活还是浮点的形式，实现了不错的性能。
第一次胜过MobileNet的二值神经网络，-1与+1的三年艰苦跋涉
喜欢打酱油的老鸟
01-22 853
作者：思 近日，苹果以 2 亿美元左右价格收购初创公司 Xnor.ai 的消息引起了社区极大的关注。作为一家以二值神经网络 Xnor-net 起家的人工智能初创公司，Xnor.ai 被苹果高价收购，也许预示着低功耗、高效能的二值神经网络技术将开启广阔的应用前景。 二值网络是非常极致的一种神经网络，它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么，它的优势与限制...
推荐文章：二进制神经网络（BNN）——轻量级高效AI的未来之选
gitblog_00159的博客
08-30 531
推荐文章：二进制神经网络（BNN）——轻量级高效AI的未来之选 binary-networks-pytorchBinarize convolutional neural networks using pytorch :fire:项目地址:https://gitcode.com/gh_mirrors/bi/binary-networks-pytorch 在追求高性能和低功耗的时代，深度学习模型的压...
【深度学习——BNN】：二值神经网络BNN——学习与总结
Lily_9的博客
08-04 3万+
最近一直在做深度学习的FPGA布署，偶然研读到Bengio大神的著作《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》： 链接：https://arxiv.org/abs/1602.02830 关于BNN，已经有不少前辈做了mark，...
二值网络--Structured Binary Neural Networks for Accurate Image Classification and Semantic Segmentation
AI小作坊 的博客
05-06 1357
Structured Binary Neural Networks for Accurate Image Classification and Semantic Segmentation https://arxiv.org/abs/1811.10413 Binary Ensemble Neural Network 的思路就是将 若干个独立的二值网络组合起来近似 实数值网络，本文提出的 Struct...
《Towards Accurate Binary Convolutional Neural Network》解读
andeyeluguo的博客
03-06 1063
近似输入：。。。     二值 A = 2*I -1指示函数 I =h>0.5?1:0;  clip函数  h = max(0,min(1,x+v)),x为R的一个值Beta线性回归，v？  近似权重：   但是 在imagenet只是bwn结合就掉了4个点，计算量反而没有降低多少了。不太实用，看看就好。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值