XNOR-Net 网络压缩与加速模型

最新推荐文章于 2024-04-11 09:45:32 发布
最新推荐文章于 2024-04-11 09:45:32 发布
阅读量317 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzhrsh/article/details/100111264
版权
本文介绍了XNOR-Net，这是一种通过二值化权重和输入来压缩和加速深度学习模型的方法。Binary-Weight-Networks将权重二值化，而XNOR-Networks进一步对输入也进行二值化，利用XNOR运算大幅减少计算量。通过寻找最优的二值权重和尺度参数，XNOR-Net在保持模型性能的同时实现了模型的高效运行。
摘要由CSDN通过智能技术生成

接下来依次介绍这两种二值化网络，另外这里说的权重是指网络中的卷积层参数和全连接层参数，因为全连接层可以用卷积层代替，所以接下来我都用卷积层来介绍二值化操作。

Binary-Weight-Networks 
首先Binary-weights的目的是将权重W的值都用二值表示，也就是W的值要么是-1，要么是1。这个替代过程贯穿整个forward和backward过程，但是在更新参数时候还是采用原来的权重W，主要是因为更新参数需要的精度比较高。

接下来详细介绍怎么实现和公式推导，公式部分虽然多，但是很简单。一个卷积层的操作可以用I*W表示，I表示输入，维度是c*win*hin，W表示卷积核（或者叫权重），维度是c*w*h。那么当我用二值卷积核B以及一个尺度参数a代替原来的卷积核W，那么就可以得到下面这个式子：

这里写图片描述

这里有个圆圈里面带加号的符号表示没有乘法的卷积计算。这里：

注意这里a默认是个正数，a和B是相对的，因为如果a和B都取相反数的话，二者相乘的结果不变。前面的B和W表示某一层的卷积操作的写法，因为每一层卷积都包含多个卷积核，因此如果具体到某一层的某个卷积操作，则可以用下面这个式子表示：

下标lk表示第l层的第k个卷积核。这里

最低0.47元/天 解锁文章
XNOR-Net算法详解
AI之路
08-31 2万+
论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 链接：https://arxiv.org/abs/1603.05279 代码地址：http://allenai.org/plato/xnornet模型压缩和加速是深度学习算法应用在移动端必须要解决的问题，也是近年来的研究热点，这篇文章就是
XNOR-Net解读
weixin_44506136的博客
03-10 845
XNOR-Net算法详解 XNOR-Net是YOLO的作者作为三作提出的面向计算资源不足的设备如MR眼镜、手机等提出的二进制网络。整篇论文分为两个部分： 1.将卷积核二值化（+1，-1）的Binary-Weight-Networks； 2.将输入与卷积核都二值化的XNOR-Net。 网络的整体是采用经典的LeNet，利用卷积、池化、全连接和参数共享等方式得到了参数少的分类网络。详解请参考(http...
XNOR-Net
qq_35608277的博客
03-09 980
论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks Github：https://github.com/allenai/XNOR-Net yolo的作者Joseph Redmon 作为三作的论文，论文提出了 权重二值网络（Binary-Weight-Networks（BWN））和全二值 异或...
【论文学习笔记-1】XNOR-net
Imperfactions的博客
07-26 896
【论文学习笔记-1】XNOR-Net 文章中提出了两种二值化网络，分别是Binary-Weight-Networks和XNOR-Networks。 Binary-Weight-Networks对模型中的权重W进行二值化操作，即要么是1要么是-1。其中更新参数时依然采用原参数W进行更新。 XNOR-Networks通过对权重W和输入I都进行二值化操作，同时降低空间和实践复杂度
Bi-Real Net——XNOR-net的增强与演进（Binary Neural Network）
AI Flash
09-08 5834
"Bi-Real Net: Enhancing the Performance of 1bit CNNs with Improved Representational Capacity and Advanced Training Algorithm"这篇文章针对XNOR-net的缺陷，在网络结构及优化训练方面做了一系列增强与改进，具体包括引入one layer per block形式的shortc...
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 论文笔记
Jayxbx的博客
06-07 4745
0 摘要     我们针对标准卷积神经网络提出了两种有效的近似网络：二元权重网络和XNOR网络。二元权重网络中，卷积核用两个值来近似表示，从而节省32倍的存储空间。在XNOR网络中，卷积核和卷积层输入都是用两个值（1和-1）表示的。 XNOR网络主要使用二元运算进行卷积运算。这使得卷积操作速度提高了58倍，节省了32倍的内存。 XNOR网络实现了在CPU（...
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
xiaofei0801的博客
06-02 2154
1 Introduction      深层神经网络（DNN）已经在包括计算机视觉和语音识别在内的几个应用领域显示出显着的改进。在计算机视觉中，称为卷积神经网络（CNN）的特定类型的DNN已经证明了在目标识别[1,2,3,4]和检测[5,6,7] 中最先进的结果。      卷积神经网络显示出可以在现实世界应用的物体识别和检测的可靠结果。与最近的识别进展同步，在虚拟现实（Oculus的VR）[
XNOR-Net-PyTorch实验
i-kernel
12-31 1321
XNOR-Net-PyTorch测试 在CNN中有两个非常有名的二进制类的网络模型，一个叫做Binary-Weighted-Networks，一个叫做XNOR-Net。二元权重网络中，卷积核用两个值来近似表示，从而节省32倍的存储空间。在XNOR网络中，卷积核和卷积层输入都是用两个值（1和-1）表示的。 XNOR网络主要使用二元运算进行卷积运算。这使得卷积操作速度提高了58倍，节省了32倍的内存。...
【Paper Reading】XNOR-Net
小铁匠的博客
04-10 390
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 2016 ECCV 华盛顿大学 Mohammad Rastegari 论文链接：https://arxiv.org/abs/1603.05279 代码链接：http://allenai.org/plato/xnornet 基于Pythoch的代码...
【模型压缩】XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks论文理解+pytorch代码解析
小葵花的room
07-15 2301
ddd
探索XNOR-Net：高效、轻量级的深度学习模型
最新发布
gitblog_00074的博客
04-11 510
探索XNOR-Net：高效、轻量级的深度学习模型 去发现同类优质开源项目:https://gitcode.com/ 在AI领域中，深度学习模型已经取得了显著的进步，但它们通常需要大量的计算资源和内存，这在资源有限的设备上（如嵌入式系统或移动设备）是一个挑战。为了解决这个问题，Allen Institute for AI 开发了XNOR-Net，一个高效的卷积神经网络(CNN)模型，它实现了二进制运...
xnor net
田震宇
07-04 228
网络最后一层，BN前后activation均值方差随训练次数的变化 固定样本点，也就是采用了相同的数据集子集（因为没必要囊括全部样本点），比较不同channel上的输出。由于卷积层每个channel的输出均为二维矩阵，这里取二维矩阵的均值方差来作为比较对象。 下图第一行是均值比较，第二行是方差比较，每列channel相同。 从上图可以看出，随着训练次数增加，BN前的均值会大幅上涨，会有一个区间增...
[京哥读论文]之XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
京哥搞异构AI
06-26 653
Abstract 本文是一篇经典的二值化weight和activations的文章，发表在ECCV2016.本文提出了两种有效二值化的框架：XNOR−NetXNOR−NetXNOR-Net以及BWNBWNBWN(Binary-Weight-Networks).在存储方面可以节省32倍的memory。在XNOR−NetXNOR−NetXNOR-Net上weights以及卷积层的input都是二值化...
XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks
人生而孤独，却不甘寂寞。
09-24 4496
篇论文引入了一种对filter，feature map进行二值化的算法，从而避免了传统CNN中卷积操作的实数乘运算。论文提到，单纯对filter参数二值化，会有2X效率的提升，如果再对feature map的值进行二值化会有58X提升，并提升27X的内存利用率，但是会有一定的准确度损失，但是这篇论文仍然堪称解决CPU训练深度网络效率低的良药。
xnor-net论文
qq_39638957的博客
07-13 227
查看https://www.cnblogs.com/sysuzyq/p/6245186.html论文里面有两种网络： binary weight net 和xnor net---------------------------------------------------------------------------------------binary weight net:W ~= alph...
低比特量化之XNOR-Net
I good vegetable a!
07-19 657
论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 链接：https://arxiv.org/abs/1603.05279 代码：http://allenai.org/plato/xnornet 1. 前言 前面已经介绍了2篇低比特量化的相关文章，分别为：基于Pytorch构建一个可训练的BNN 以及 基于Pytorch构建三值化网络TWN 。在讲解那2篇文章的时候可能读者会发现某些小的知识点出现.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值