Binary Neural Networks notes

最新推荐文章于 2024-07-12 14:54:54 发布
最新推荐文章于 2024-07-12 14:54:54 发布
阅读量101 收藏
点赞数
文章标签： 边缘计算 人工智能 神经网络 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45498320/article/details/128549629
版权

Introduction

边缘神经计算需要一些轻量级的网络，而轻量级的网络是我们进行压缩剪枝等对于网络的优化操作之后获得的。

  • Edge computing

  • Memory Computation

Methods

Binary Weight将权重从float型变为1bit

Binary Connect

Binary Weight Activation（图像特征图）

BNN, XNORnet, DOReFa-Net

只对权重进行二值化的话，feature map图像特征图依旧是float型的这样的话在运算中依旧需要进行其他运算处理，但为保证网络运行中间所添加的BatchNormBN层不能被二值化， BN层最大的作用就是可以加速学习并减少权重尺度的影响，带来一定量的正则化并提高CNN的性能，但是BN设计了很多的矩阵运算会降低运算速度。因此，DOReFa-Net论文提出了一种Shift-based Batch Normalization（SBN）层。SBN的优点是几乎不需要矩阵运算，并且不会带来性能损失。这个函数实现了在不使用乘法的情况下近似计算BN，可以提高计算效率。同样也是为了加速二值网络的训练，改进了AdaMax优化器。

Binary connect 2015

权重Wb是float类型，-4096-4096值域变化太大导致无法收敛因此会导致网络非常的稀疏。训练中取权重符号将权重在forward和backward直接进行二值化看为一个符号再进行传播。和全精度结果差距较大。

Binarized weights

From float to 1 bit

Github Theano code

BNN

主要的贡献在于它将activition也进行了二值化，优点在于它将所有的加减运算全部变成了位运算。

XNOR Net

在一定程度上消除了它相对于正负1这一段的梯度和它本身之间的梯度的差别。考虑了输入和输出两者之间量级的差距。比较了xnor和之前两种网络在两个数据集上的训练结果

BWN（binary weights）只将权重二值化

XNOR-Net(Binary weights inputs) 将权重和Features二值化

How to train Binary Network近一段时间的重点AAAI论文

Learning Rate

记录了一个float类型的权重只不过是在inference的时候把它转换成正负1。但是这会导致一个问题，假如我们有一些全精度的权重是1e和-3这个量级的经过gradient之后就很容易在0附近抖动，进而使得这些神经元在经过inference之后很容易在正负1之间跳转导致一种很不稳定的情况发生所以作者发现如果降低learning rate 会降低它符号翻转的这种可能性从而使得网络更稳定效果更好

PReLU（parametric ReLU）

ReLU

ReLU=max(0,x)=0, if x<0x, if x≥0

PReLU

fx=xi xi>0αixi others

αi是可通过反向传播学习到的参数

对于xnor的优化，将原来网络中的一部分parametric融合进了relu里

Regularization to +1-1 正则化

将权重的差距拉大

ScaleLayer at last

将BN层变为一个可以学习的或者是设置一个固定的skilllayer 比如将最后一层设置为1，1，-3每一个神经元激活变成原来的10-3*10-3

Multiple binarizations

是对于中间层featuremap的优化操作，更适合DoRaFaNet。

需要寻找更多的技巧去探索binary neural network的上限

Take home message

Binary in forward backward

Memorize in float

Gradient to Binary >Gradient to Float > Update

尽可能地消除float类型的值和binary之后的值之间的差异

Core: The link between two kinds of gradient

参考了b站北京大学杨朝晖同学的工作汇报

白泽白泽呀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
二值神经网络综述（Binary Neural Networks: A Survey）【北航】.pdf
04-10
在本文中，我们对这些算法进行了全面的概述，主要分为直接进行二值化的本机解决方案，以及使用使量化误差最小化，改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。我们还将研究二进制神经网络的其他实用...
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。...
【模型压缩】XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks论文理解+pytorch代码解析
小葵花的room
07-15 1719
ddd
KDD2018《Adversarial Attacks on Neural Networks for Graph Data》 论文详解
专注。
03-26 3988
论文链接：https://arxiv.org/pdf/1805.07984.pdf Abstract 本文介绍了第一个在属性图上进行对抗攻击的研究，特别关注利用图卷积的思想模型。除了在测试阶段进行攻击，本文进行了更具挑战的poisoning attack（聚焦于机器学习模型的训练阶段）类别。在考虑实例间依赖关系的情况下，针对节点特征和图结构进行对抗扰动（adversarial perturbation）。通过保证重要的数据特征保证扰动是不可见的（unnoticeable）。为了解决底层的离散域（disc
Reducing the Dimensionality of Data with Neural Networks【论文翻译】
zxggghjju的博客
08-20 1245
Reducing the Dimensionality of Data with Neural Networks 利用神经网络降低数据的维度 G. E. Hinton* and R. R. Salakhutdinov High-dimensional data can be converted to low-dimensional codes by training a multilayer neural network with a small central layer to reconstruct h
Basics of Neural Network Programming - Binary Classification
王彩旗的技术博客
06-09 95
Binary Classification In a binary classification problem, the result is a discrete value output. For example - account hacked (1) or compromised (0) - a tumor malign (1) or benign (0) Example: Cat vs Non-Cat The goal is to train a classifier that the input
Reducing the Dimensionality of Data with Neural Networks
果珍冰的博客
05-31 7085
上周阅读了Hinton在06发表在Science上的文章Reducing the Dimensionality of Data with Neural Networks，结合了网上找到的一些资料（这个、这个、还有这个），对文章进行了翻译。实验部分可以参考这里。未完待续用神经网络减少数据维数G. E. Hinton and R. R. Salakhutdinov　　通过训练小中间层（small cen
Introduction to debugging neural networks
weixin_34110749的博客
09-21 92
http://russellsstewart.com/notes/0.html The following advice is targeted at beginners to neural networks, and is based on my experience giving advice to neural net newcomers in industry and at Stan...
Reducing the Dimensionality of Data with Neural Networks「深度学习鼻祖G.E.Hinton经典论文」
AndrewLi的博客
03-04 403
高纬度的数据能被训练好的多层神经网络转化为低纬度的数据，这里的神经网络只需要使用一个小的核心层就能够将高纬度数据重构。梯度下降可以被用在优化这里的神经网络上，但只有当神经网络的初始值接近优秀解的时候梯度下降优化才有效。本文提出了一种初始化权重的方法，使得神经网络能够处理高维数据，在数据降维方面拥有比PCA算法更加优秀的性能。
[论文翻译]Reducing the Dimensionality of Data with Neural Networks
风信子的博客
08-20 3765
论文题目：Reducing the Dimensionality of Data with Neural Networks 论文来源：10.1126/science.1127647 翻译人：BDML@CQUT实验室 Reducing the Dimensionality of Data with Neural Networks 利用神经网络降低数据的维度 G. E. Hinton* and R. R. Salakhutdinov High-dimensional data can be converted
Neural Networks and Deep Learning
kexinxin1的博客
11-04 414
Neural Networks and Deep Learning This is the first course of the deep learning specialization at Coursera which is moderated by moderated by DeepLearning.ai. The course is taught by Andrew Ng. Intr...
machine learning Neural Networks for Binary Classification
10-09
总的来说，"Neural Networks for Binary Classification"项目涵盖了从基础理论到实践应用的全面知识，旨在帮助学习者掌握如何运用神经网络解决二分类问题，提升他们在机器学习和数据挖掘领域的技能。通过这个项目，...
BNN_NoBN:[CVPRW 21] "BNN - BN = ? Training Binary Neural Networks without Batch Normalization", Tianlong Chen, Zhenyu Zhang, Xu Ouyang, Zechun Liu, Zhiqiang Shen, Zhangyang Wang
04-16
BNN-BN =？ 在不进行批量归一化的情况下训练二进制神经网络 本文的代码 。 [CVPR BiVision研讨会2021] 陈天龙，张振宇，徐欧阳，刘泽春，沉志强，王张阳。概述批处理规范化（BN）是一个关键的促进因素，被认为对最新...
Learning Channel-wise Interactions for Binary Convolutional Neural Networks.pdf
04-07
一篇论文，提出了BI-CNN模型，能够使二值化神经网络大幅提高精度，在CIFAR-10和IMAGENET数据集上表现良好。
迅为RK3562核心板四核A53+MaliG52架构,应用于商业平板电脑,视频会议,智能家居,教育电子,医疗设备,边缘计算,工业应用
mucheni的博客
07-09 596
迅为RK3562核心板四核A53+MaliG52架构,应用于商业平板电脑,视频会议,智能家居,教育电子,医疗设备,边缘计算,工业应用。
边缘计算盒子_B100_Jetson Nano （aarch64）开发环境搭建
ljn1046016768的博客
07-10 951
边缘计算盒子，B100 环境搭建
什么是边缘计算？创造一个更快、更智慧、更互联的世界
Daylighte的博客
07-10 688
边缘计算不限于任何行业或应用程序。各行业的组织都在利用这些解决方案来加速其应用程序并利用边缘AI的优势。例如零售业的智能购物体验、智慧城市的智能基础设施以及工业制造的自动化。
【边缘计算网关教程】4.西门子PPI协议对接
最新发布
zonghengzhikong的博客
07-12 815
适配PLC：S7-200西门子S7-200 PLC没有网口，只有串口。串口通信使用的是PPI协议，以下主要讲解EG8200Mini使用PPI协议读取西门子S7-200 PLC的数据。EG8200Mini和西门子S7 200通信之前，必须保证接线正确。PPI采用的是485通信，具体接线为3脚接A，8脚接B：实际接线图如下：红色是RS485A接S7 200的3脚，蓝色是RS485B接S7 200的8脚。
fortran binary
05-18
Fortran is a programming language that can be used to write binary files. Binary files are files that contain non-textual data, such as images, audio, or executable code. To write binary files in ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值