Bi-Real Net——XNOR-net的增强与演进（Binary Neural Network）

最新推荐文章于 2024-08-21 08:53:36 发布
最新推荐文章于 2024-08-21 08:53:36 发布
阅读量5.7k 收藏 9
点赞数 3
分类专栏： 深度学习 模型压缩 优化加速 文章标签： 二值网络 量化 模型压缩 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/82497777
版权
Bi-Real Net是XNOR-net的改进版，通过one layer per block的shortcut连接和二次函数拟合Sign操作增强网络表示能力。它引入实数权重幅度信息以改善训练，使用Magnitude-aware Sign操作加速收敛，实验证实在CIFAR10/100和ImageNet等数据集上表现出色，适合于资源受限的设备。
摘要由CSDN通过智能技术生成

"Bi-Real Net: Enhancing the Performance of 1bit CNNs with Improved Representational Capacity and Advanced Training Algorithm"这篇文章针对XNOR-net的缺陷，在网络结构及优化训练方面做了一系列增强与改进，具体包括引入one layer per block形式的shortcut连接、采用二次函数拟合实数激活的sign操作、在更新实数权重时引入实数权重的幅度、以及预训练模型采用clip函数替代ReLU予以训练，从而在实现网络权重与激活输出二值化的同时，确保了较高的推理精度，尤其是在大型数据集（ILSVRC ImageNet）上的表现。

如上图所示，深度网络的权重与激活经二值化之后，能够极大降低参数与激活对存储的占用消耗（memory footprint），其次卷积计算也简化为XNOR与bit-counting操作，因而非常有利于深度网络的推理部署，尤其是在资源受限、能效要求极高的移动设备上。XNOR-net、ABC-net等是目前较为领先的二值化网络，文章所提出的Bi-Real Net则是XNOR-net的后续演进与增强，首先网络结构上实现了one layer per block形式的shortcut连接，即当前1bit convolution或BN输出的实数结果与下一个1bit convolution或BN输出的实数结果直接相加，从而增加了网络的数值表示范围（Value Range），

最低0.47元/天 解锁文章
Law-Yao
关注
专栏目录
[京哥读论文]之Bi-Real Net：Enhancing the Performance of 1-bit CNNs With Improved Representational Capabilit
京哥搞异构AI
08-15 666
论文题目：Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm_ECCV2018 引用量：27 code:caffe版：https://github.com/liuzechun/Bi-Real-net...
Bi-Real-net:双实网
05-03
双实网 这是我们发表在ECCV 2018上的论文《 》和《》的实现在IJCV中发表。 我们建议在二值化之前使用身份映射来传播实值信息。 当权重和激活被二值化时，所提议的带有每条二进制卷积层绕过的捷径的每块1层结构明显优于ResNet中原始的每块2层结构。 详细的动机和讨论可以在我们的IJCV文件中找到。 可以在ECCV论文中找到其他三种建议的训练技术。 消息 [2019年11月23日]我们完成了从头开始培训Bi-Real Net的pytorch实施，该操作超级简单。 我们获得了与本文报道相同的准确性。 克隆并尝试使用我们的新pytorch实现！ [2021年3月28日]我们最新的论文“ ”，通过简单的ReAct函数，在Bi-Real Net-18结构上实现了65.8％的准确度。 如果您有兴趣，请检查本文。 参考 如果您发现此存储库对您的研究有用，请考虑引用该论文： @inprocee
【Paper Reading】Bi-Real Net
小铁匠的博客
04-24 567
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm 2018 ECCV 香港科技 腾讯 华科 Paper：https://arxiv.org/abs/1808.00278v5 Code：https:...
推荐文章：探索异常检测新境界 —— RealNet
最新发布
gitblog_00817的博客
08-21 828
推荐文章：探索异常检测新境界 —— RealNet RealNetOffical implementation of "RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection (CVPR 2024)"项目地址:https://gitcode.com/gh_mirrors...
Bi-Real-Net：通过改进表示能力和训练算法提高1-bit CNNs性能
u012347027的博客
11-22 747
Bi-Real-Net：通过改进表示能力和训练算法提高1-bit CNNs性能动机方法短接嵌入实数值信息二值参数与激活值更新策略拟合激活值反向更新参数二值添加缩放因子Clip 函数替换 ReLU 函数实验结果消融实验对比试验 本文由香港科技大学，腾讯 AI lab，以及华中科技大学合作完成，文章发表在 ECCV2018 会议。目的是提升二值化卷积神经网络（1-bit CNN）的精度。虽然 1-bit CNN 压缩程度高，但是其当前在大数据集(如 ImageNet )上的分类精度与对应的实值 CNN 相比有
二值网络--Bi-Real Net: Enhancing the Performance of 1-bit CNNs
AI小作坊 的博客
04-23 1606
Bi-Real Net: Enhancing the Performance of 1-bit CNNs With Improved Representational Capability and Advanced Training Algorithm ECCV2018 https://github.com/liuzechun/Bi-Real-net 本文在 借鉴残差网络的 shortcut思想...
XNOR-Net-PyTorch:XNOR-Net的PyTorch实现
04-29
XNOR-Net-Pytorch 这是的PyTorch实现。 我为以下项目实现了二值化神经网络（BNN）： 数据集 网络 准确性 浮点精度 MNIST LeNet-5 99.23％ 99.34％ CIFAR-10 网络中网络（NIN） 86.28％ 89.67％ 影像网 ...
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks
xiaofei0801的博客
06-02 2135
1 Introduction      深层神经网络（DNN）已经在包括计算机视觉和语音识别在内的几个应用领域显示出显着的改进。在计算机视觉中，称为卷积神经网络（CNN）的特定类型的DNN已经证明了在目标识别[1,2,3,4]和检测[5,6,7] 中最先进的结果。      卷积神经网络显示出可以在现实世界应用的物体识别和检测的可靠结果。与最近的识别进展同步，在虚拟现实（Oculus的VR）[
XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 论文笔记
Jayxbx的博客
06-07 4701
0 摘要     我们针对标准卷积神经网络提出了两种有效的近似网络：二元权重网络和XNOR网络。二元权重网络中，卷积核用两个值来近似表示，从而节省32倍的存储空间。在XNOR网络中，卷积核和卷积层输入都是用两个值（1和-1）表示的。 XNOR网络主要使用二元运算进行卷积运算。这使得卷积操作速度提高了58倍，节省了32倍的内存。 XNOR网络实现了在CPU（...
ECCV 2018 | Bi-Real net：超XNOR-net 10%的ImageNet分类精度
weixin_30376323的博客
10-10 177
这项工作由香港科技大学，腾讯 AI lab，以及华中科技大学合作完成，目的是提升二值化卷积神经网络（1-bit CNN）的精度。虽然 1-bit CNN 压缩程度高，但是其当前在大数据集上的分类精度与对应的实值 CNN 相比有较大的精度下降。本文提出的 Bi-Real net 用 shortcut 传递网络中已有的实数值，从而提高二值化网络的表达能力，并且改进了现有的 1-bit CNN 训练...
XNOR-Net
Lumiran的博客
10-08 1114
XNOR 1 介绍 1、首先，介绍了一个新方法（BWN）二值化CNN中的权重数值。 2、介绍了XNOR-Nets，输入与权重同时进行二值化（激活也进行了二值化）。 2 相关工作 浅层网络 压缩预训练的深度网络 Optimal brain damage使用lossfunction的黑塞矩阵来裁剪一个网络by 减少连接数 量化 网络二值化 Soudry的那篇讲EBP的variational 贝叶斯方法...
CVPR 2024 | RealNet：创新的自监督异常检测框架
阿木寺的博客
07-05 1175
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！论文提出了一种创新的自监督异常检测框架RealNet，集成了三个核心组件：可控制强度的扩...
探索未知，精准识别 —— 实力派新星 RealNet 开源项目解析
gitblog_00051的博客
06-21 574
探索未知，精准识别 —— 实力派新星 RealNet 开源项目解析 RealNetOffical implementation of "RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection (CVPR 2024)"项目地址:https://gitcode.com/gh...
CVPR2024 合成异常数据 工业异常检测 RealNet
黎国溥
05-31 2674
本文分享一个基于扩散模型的异常检测框架，用于检测工业场景的缺陷检测或异常检测。强度可控扩散异常合成：基于扩散过程的合成策略，能够生成不同强度的异常样本，模仿真实异常样本的分布。异常感知特征选择：选择代表性和判别性的预训练特征子集，以提高异常检测性能并控制计算成本。重建残差选择：自适应选择判别性残差，用于全面识别各级异常区域。强度可控扩散异常合成，简称为SDAS，生成的异常图像，如下图所示。这些异常图像，都是基于正常图像生成的。
CVPR'24 | 自适应工业缺陷检最强SOTA!
3D视觉工坊
03-18 410
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：dddvision，备注：缺陷检测，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉技术星球，星球内汇集了众多3D视觉实战问题，以及各个模块的学习资料：最新顶会论文、书籍、源码、视频（近20门系统课程[星球成员可免费学习]）等。想要入门3D视觉、做项目、搞科研，就加入我们吧。论文题目：RealNe...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值