XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

最新推荐文章于 2021-07-26 13:19:30 发布
最新推荐文章于 2021-07-26 13:19:30 发布
阅读量923 收藏 2
点赞数
分类专栏： machine learning CNN mobile DL quantization binarization ML论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/holmosaint/article/details/82687924
版权
本文提出XNOR-Net和Binary-Weighted-Networks，通过二进制权重和输入实现卷积神经网络的高效计算。XNOR-Net利用异或运算在CPU上实现58倍速度提升和32倍内存节省，BWN通过二进制滤波器提高运行效率。训练过程中使用直通估计器(STE)处理梯度问题，并调整网络结构减少信息损失。
摘要由CSDN通过智能技术生成

这篇文章提出了两个二进制类的网络模型，一个叫做Binary-Weighted-Networks，一个叫做XNOR-Net。其中BWN只有filter是二进制的表达，而XNOR-Net在input和filter上都是二进制的表达。其中指出二进制的表达XNOR-Nets在执行卷积运算时能够提升58×的速度，而可以节省32×的内存空间，这为XNOR-Nets在CPU上运行提供了可能性。

Binary-Weighted-Networks

在进行卷积运算的时候，可以将乘法改成加法和减法，这可以提高2×左右的运行效率。BWNs已经可以嵌入更小、便携式的硬件中去了。

XNOR-Nets

当input和filter的输入都是二进制的时候，可以使用XNOR（异或）运算来代替乘法的运算，这使得XNOR-Nets近似的CNNs比起高精度的CNNs有了58×的速度提升，这使得XNOR-Nets能够高效地在CPU上进行实现。

1 Binary Convolutional Neural Networks

一些数学符号的意义直接贴图了......

1.1 Binary-Weighted-Neural-Networks

为了用二进制的filter去最好地近似高精度的filter，采用了一个非常直观的近似方法，为每一个filter找一个scaling factor：

最低0.47元/天 解锁文章
holmosaint
关注
专栏目录
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
xiaofei0801的博客
06-02 2135
1 Introduction      深层神经网络（DNN）已经在包括计算机视觉和语音识别在内的几个应用领域显示出显着的改进。在计算机视觉中，称为卷积神经网络（CNN）的特定类型的DNN已经证明了在目标识别[1,2,3,4]和检测[5,6,7] 中最先进的结果。      卷积神经网络显示出可以在现实世界应用的物体识别和检测的可靠结果。与最近的识别进展同步，在虚拟现实（Oculus的VR）[
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 论文阅读
田震宇
06-15 361
模型压缩和加速是深度学习算法应用在移动端必须要解决的问题，也是近年来的研究热点，这篇ECCV2016的文章就是做这样的事。在这篇文章中作者主要提到两种二值化网络：Binary-Weight-Networks和XNOR-Networks. 理解Binary-Weight-Networks主要分两步，第一步理解核心公式及其推导过程，第二步理解在bp过程中如何更新kernel。 核心公式： 其中I代表...
[京哥读论文]之XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
京哥搞异构AI
06-26 643
Abstract 本文是一篇经典的二值化weight和activations的文章，发表在ECCV2016.本文提出了两种有效二值化的框架：XNOR−NetXNOR−NetXNOR-Net以及BWNBWNBWN(Binary-Weight-Networks).在存储方面可以节省32倍的memory。在XNOR−NetXNOR−NetXNOR-Net上weights以及卷积层的input都是二值化...
二值网络--XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
AI小作坊 的博客
04-22 893
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks ECCV2016 http://allenai.org/plato/xnornet 本文介绍了两种二值网络： Binary-Weight-Networks 和 XNOR-Networks，Binary-Weight-Networks 只对滤波器 ...
XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks
人生而孤独，却不甘寂寞。
09-24 4483
篇论文引入了一种对filter，feature map进行二值化的算法，从而避免了传统CNN中卷积操作的实数乘运算。论文提到，单纯对filter参数二值化，会有2X效率的提升，如果再对feature map的值进行二值化会有58X提升，并提升27X的内存利用率，但是会有一定的准确度损失，但是这篇论文仍然堪称解决CPU训练深度网络效率低的良药。
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 论文笔记
Jayxbx的博客
06-07 4703
0 摘要     我们针对标准卷积神经网络提出了两种有效的近似网络：二元权重网络和XNOR网络。二元权重网络中，卷积核用两个值来近似表示，从而节省32倍的存储空间。在XNOR网络中，卷积核和卷积层输入都是用两个值（1和-1）表示的。 XNOR网络主要使用二元运算进行卷积运算。这使得卷积操作速度提高了58倍，节省了32倍的内存。 XNOR网络实现了在CPU（...
CNN网络二值化--XNOR-Net： ImageNet Classification Using Binary Convolutional Neural Networks
cv_family_z的博客
07-15 1万+
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks本文主要是简化CNN网络，使得CNN网络能够在CPU实时跑起来，但是会牺牲一些精度。本文提出了两个不同的简化网络 ：Binary-Weight-Networks 和 XNOR-Networks。Binary-Weight-Networks 只是对CN
XNOR-Net算法详解
热门推荐
AI之路
08-31 2万+
论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 链接：https://arxiv.org/abs/1603.05279 代码地址：http://allenai.org/plato/xnornet模型压缩和加速是深度学习算法应用在移动端必须要解决的问题，也是近年来的研究热点，这篇文章就是
论文翻译：XNOR-Net: ImageNet Classification Using BinaryConvolutional Neural Networks
weixin_30532369的博客
04-30 452
目录 Abstract 1 Introduction 2 Related Work 3 Binary Convolutional Neural Network 3.1 Binary-Weight-Networks 3.2 XNOR-Networks ...
ImageNet Classification with Deep Convolutional Neural Networks
08-06
ImageNet Classification with Deep Convolutional Neural Networks
NIPS2012-ImageNet Classification with Deep Convolutional Neural Networks
05-20
图像分类的一个里程碑，另外一个经典的CNN网络！
【模型压缩】XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks论文理解+pytorch代码解析
小葵花的room
07-15 2223
ddd
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks随手记
休语栓的专栏
03-24 1462
Concurrent to the recent progress in recognition, interesting advancements have been happening in virtual reality (VR by Oculus) [8], augmented reality (AR by HoloLens) [9], and smart wearable devic
《XNOR-Net: ImageNet Classification Using BinaryConvolutional Neural Networks》翻译
ShaneneD的博客
04-14 1408
原文：https://arxiv.org/abs/1603.05279XNOR-Net: ImageNet Classification Using BinaryConvolutional Neural NetworksMohammad Rastegari†, Vicente Ordonez†, Joseph Redmon∗, Ali Farhadi†∗Allen Institute for AI...
XNOR-Net
Lumiran的博客
10-08 1114
XNOR 1 介绍 1、首先，介绍了一个新方法（BWN）二值化CNN中的权重数值。 2、介绍了XNOR-Nets，输入与权重同时进行二值化（激活也进行了二值化）。 2 相关工作 浅层网络 压缩预训练的深度网络 Optimal brain damage使用lossfunction的黑塞矩阵来裁剪一个网络by 减少连接数 量化 网络二值化 Soudry的那篇讲EBP的variational 贝叶斯方法...
【论文学习笔记-1】XNOR-net
Imperfactions的博客
07-26 871
【论文学习笔记-1】XNOR-Net 文章中提出了两种二值化网络，分别是Binary-Weight-Networks和XNOR-Networks。 Binary-Weight-Networks对模型中的权重W进行二值化操作，即要么是1要么是-1。其中更新参数时依然采用原参数W进行更新。 XNOR-Networks通过对权重W和输入I都进行二值化操作，同时降低空间和实践复杂度
AlexNet: ImageNet Classification with Deep Convolutional Neural Networks
weixin_30267697的博客
07-19 85
目录 激活函数 防止过拟合 增加数据 Dropout 细节 代码 AlexNet 上图是论文的网络的结构图，包括5个卷积层和3个全连接层，作者还特别强调，depth的重要性，少一层结果就会变差，所以这...
【论文翻译】Image Net Classification with Deep Convolutional Neural Networks
qq_38284951的博客
09-15 645
1.Introduction        目前的对象识别方法是机器学习方法的必要用途。为了提高性能，我们可以收集更大的数据集，学习更强大的模型，并使用更好的技术来防止过度配置。直到最近，标记图像的数据集相对较小 - 大约数万个图像（例如，NORB [16]，Caltech-101/256 [8,9]和CIFAR-10/100 [12]）。使用此大小的数据集可以很好地解决简单的识别任务，特别是如...
XNOR-POP：DRAM中的二进制CNN内存处理架构
为此，作者提出了一种新颖的内存内处理（Processing-in-Memory, PiM）架构，名为XNOR-POP，用于在宽I/O2动态随机访问内存（DRAM）中处理新兴的二进制CNN测试。 卷积神经网络是深度学习领域的核心，广泛应用于图像...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值