【论文笔记】二值化神经网络（Binarized Neural Network）

最新推荐文章于 2025-02-26 10:36:42 发布
最新推荐文章于 2025-02-26 10:36:42 发布
阅读量1.7w 收藏 29
点赞数 2
分类专栏： 计算机视觉 文章标签： 神经网络 二值化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elaine_bao/article/details/50950969
版权
本文介绍了二值化神经网络（BNN），通过二值化权重和激活值来提高神经网络的速度并降低内存需求。Binarization Function使用Htanh近似以解决反向传播问题。网络前向传播和反向传播过程进行了详细说明，输入层特征通过8比特编码实现二值化。实验结果显示，BNN在测试速度和内存占用方面显著优于32bit float DNN，但在训练速度上较慢，精度相近。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章链接：Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 是2016年2月份新出的一篇文章。

文章的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。

1. Binarization Function

首先是如何对weights和activations进行二值化。如下图左，Binarization function 很简单，就是一个符号函数。但是作者就想了啊，符号函数不好进行梯度的反向传播啊，因此就把它近似成了右边的Htanh(x)的函数，这样在[-1,1]区间内导数就等于1。
这里写图片描述

2. 网络前向传播

那么除第一层（输入层）以外，每一层的前向传播过程如下：
这里写图片描述

首先权重 Wk 经过二值化，然后与上层二值化后的激活值

最低0.47元/天 解锁文章
sBP.zip_BP neural network_二维数据预测_神经网络 二维
09-24
标题中的“sBP.zip_BP neural network_二维数据预测_神经网络 二维”表明这是一个关于使用BP（Backpropagation）神经网络进行二维数据预测的项目。BP神经网络是一种经典的监督学习算法，广泛应用于模式识别、函数...
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
深度学习【6】二值网络（Binarized Neural Networks）学习与理解
DCD_LIN的博客
03-29 1万+
http://blog.csdn.net/linmingan/article/details/51008830           Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or−1的工作是基于BinaryConnect: Training...
Binarized Neural Networks
gcf_uinque的博客
03-04 291
论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码： Theano框架：https://github.com/MatthieuCourbariaux/BinaryNet Torch框架：https://github.com/itayhubara/BinaryNet 主要内容 BNNs是在CNNs的基础上，将权重和激活值量化为1bit，即取值为+1和-1，这样前...
Python 的 ultralytics 库详解
最新发布
qq_51478128的博客
02-26 2371
库由 Ultralytics 团队开发，旨在为 YOLO 系列模型提供高效、灵活且易于使用的工具。目标检测：检测图像或视频中的目标。实例分割：对目标进行像素级分割。姿态估计：检测目标的关键点（如人体姿态）。模型训练：支持自定义数据集的训练。模型导出：将模型导出为多种格式（如 ONNX、TensorRT 等）。是一个功能强大且易于使用的计算机视觉库，特别适合 YOLO 系列模型的应用。它提供了从模型加载、推理、训练到导出的完整功能，支持目标检测、实例分割、姿态估计等多种任务。无论是研究还是生产环境，
二值网络--Binarized Neural Networks
AI小作坊 的博客
04-22 1681
Binarized Neural Networks NIPS2016 https://github.com/MatthieuCourbariaux/BinaryNet 本文针对二值网络提出了 训练方法 1 Binarized Neural Networks Deterministic vs Stochastic Binarization 二值化函数 我们对 weights 和 activatio...
Binary neural networks：A survey （二值化网络最新综述）
EP的别三日
12-04 2479
神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮点数参数量化至 1 位定点数，降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程。但二值化会不可避免地导致严重的信息损失，其量化函数不连续性也给深度网络的优化带来了困难。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为直接量化的朴素二值化方法，以及使用最小化量化误差、改善网络损失函数和减小梯度误差等技术的改进二值化方法。
【QNN】——Binarized Neural Networks论文
怡宝2号
03-04 497
转载自:https://blog.csdn.net/liujianlin01/article/details/80917646 [NIPS ‘16]论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码地址：https://github.com/MatthieuCourbariaux/BinaryNet 这篇文章提出了一个新的网络：二值化网络(BNN)，在运行时使用二值权重和激活。在训练时，二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。 1. 二.
二值神经网络综述（Binary Neural Networks: A Survey）【北航】.pdf
04-10
在本文中，我们对这些算法进行了全面的概述，主要分为直接进行二值化的本机解决方案，以及使用使量化误差最小化，改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。我们还将研究二进制神经网络的其他实用...
【扩散模型】【网络结构搜索】神经网络扩散：Neural Network Diffusion（论文解读）
qq_45752541的博客
02-23 3774
扩散模型在图像和视频生成方面取得了显著的成功。这项工作证明了，扩散模型也可以生成高性能的神经网络参数利用一个自动编码器和一个标准的潜在扩散模型。自动编码器提取训练后的网络参数子集的潜在表示。然后训练一个扩散模型，从随机噪声中合成这些潜在的参数表示。然后，它生成新的表示，通过自动编码器的解码器，其输出准备用作网络参数的新子集。在不同的架构和数据集上，我们的扩散过程始终以最小的额外成本生成与训练网络相比的性能相当或改进的模型。值得注意的是，我们根据经验发现，生成的模型与训练后的网络表现不同。
二值神经网络（Binary Neural Network，BNN）
热门推荐
雨石
03-18 6万+
在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。
二值化神经网络——BNN
python_LC_nohtyp的博客
05-01 2311
二值化神经网络——BNN 前言： 最近在研究FBN的时候看到了BNN这个概念，论文中有很多的概念都和BNN相关，这里记录一下对于BNN的理解 什么BNN？ BNN全称Binarized Neural Networks中文译作二值化神经网络。其核心的思想就算把权重矩阵中权重值和各个激活函数的函数值同时二值化得到的神经网络。我们通过有两个二值化函数可以用来完成这个过程。 第一个是Sign函数 xb=...
文献阅读 - Binarized Neural Networks
Always On The Way
06-06 961
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 M. Courbariaux M, et al., Binarized Neural Networks: Training Deep Neural Networks with W...
【论文阅读笔记】---二值神经网络（BNN）
u012101561的博客
04-27 1万+
       现在神经网络一般采用浮点计算，需要较大的存储空间和计算量，严重阻碍在移动端的应用。二值化神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。本文就是对《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or ...
Binarized Neural Networks笔记
kind_wuyue的博客
09-16 2532
如今DNN大多在一个或几个运行速度快，功耗大的GPU上训练，导致在特定的低功耗硬件上运行DNN成为挑战。大量研究致力于加快DNN在通用或专用硬件上运行时的速度。 注：本文主要参考http://blog.csdn.net/stdcoutzyx/article/details/50926174和http://blog.csdn.net/linmingan/article/details/510088
模型压缩明珠：二值化网络
ZOMI酱
01-14 2305
相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累加等复杂的运算来实现卷积操作，从而节省了大量的内存和计算，大大方便了模型在资源受限设备上的部署。
【Binarized Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
07-04 2457
[NIPS '16]论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码地址：https://github.com/MatthieuCourbariaux/BinaryNet 这篇文章提出了一个新的网络：二值化网络(BNN)，在运行时使用二值权重和激活。在训练时，二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。
Binarized Neural Networks论文解读
DuHz的博客
10-19 1257
本文对《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》进行了解读，即二值网络的奠基性文章
二值化网络的发展——从原始BNN到MeliusNet
weixin_43082868的博客
07-04 2414
二值化网络的发展 一.开山之作——Binarized Neural Networks 本文题目为《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》 文章主要内容 本文提出了一种新的轻量级网络——二值化网络。二值化网络即将网络中权重固定为-...
是二值化神经网络不是贝叶斯神经网络
07-06
二值化神经网络（Binary Neural Network，BNN）是一种特殊的神经网络架构，其中权重和激活函数都被限制为二进制数值，通常取0和1。这种设计的主要目的是为了提高模型的存储效率、计算速度以及硬件兼容性，因为它可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值