文献阅读（82）二值化神经网络

最新推荐文章于 2022-09-16 12:21:41 发布
最新推荐文章于 2022-09-16 12:21:41 发布
阅读量3k 收藏
点赞数
分类专栏： 算法论文 文章标签： 神经网络 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiaozhanzhe1900/article/details/104646258
版权

文章目录

  • 题目：Efficient Quantization for Neural Networks with Binary Weights and Low Bitwidth Activations
  • 时间：2019
  • 会议：AAAI
  • 研究机构：上海交大倪冰冰

1 abstract & introduction

本篇论文的主要贡献：

  1. 设计了一个新的激活函数CReLU
  2. 提出了多层二值化和线性/对数量化方法
  3. 最终的结果可以实现二值化的权重效果超过全精度模型

2 Clamping Rectified Linear Unit

过去有很多二值化网络的工作，他对之前的工作进行了总结，发现二值化网络的一些特性制约了行动

unbounded characteristic is disadvantageous for quantization since some outliers on the tail of distribution can lead to large quantization errors
无界特性不利于量化，因为分布尾部的一些异常值会导致较大的量化误差

于是提出了带上界的ReLU
在这里插入图片描述
后向传播是
在这里插入图片描述
损失函数是：
在这里插入图片描述
其中C是原来网络的损失函数，后面加一项就好了，g表示一次范式或二次范式

3 量化方法

3.1 前向近似

本质就是用二值化的数拟合训练好的权重，设 b i b_i bi​表示第i个kernel，加粗表示是个向量， α i \alpha_i αi​表示第i个kernel的缩放值scale：
在这里插入图片描述
最小化二者之间的残差，这是NP难问题，他用贪心法解决
在这里插入图片描述
在这里插入图片描述

3.2 后向近似

在这里插入图片描述
w带波浪线的表示量化之后的数值，s表示符号函数
在这里插入图片描述

tiaozhanzhe1900
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
二值化神经网络
xiangpijiao的博客
04-17 3389
 什么是二值化网络二值化神经网络，是指在浮点型神经网络的基础上，将其权重矩阵中权重值和各个激活函数值同时进行二值化得到的神经网络。二值化神经网络具有很好的特性，具体体现在：通过将权重矩阵二值化，一个权重值只占用一个比特，相比于单精度浮点型权重矩阵，网络模型的内存消耗理论上能减少32倍，因此二值化神经网络在模型压缩上具有很大的优势。当权重值和激活函数值同时进行二值化之后，原来32个浮点型数的乘加运算...
二值化论文大集锦
06-11
收集的二值化经典论文
二值神经网络（Binary Neural Networks）最新综述.md
04-02
知乎转引的此文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 **Binary Neural Networks: A Survey**，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。在阅读基础上，做了.md的笔记。 摘要如下： 神经网络二值化能够**最大程度地降低模型的存储占用和模型的计算量**，将神经网络中**原本 32 位浮点数参数量化至 1 位定点数**，**降低了模型部署的存储资源消耗，同时极大加速了神经网络的推断过程**。但二值化会不可避免地导致**严重的信息损失**，其**量化函数不连续性也给深度网络的优化带来了困难**。 近年来许多算法被提出致力于解决上述问题，并取得了令人满意的进展。在本文中，我们对这些方法进行了全面的总结和概括，主要分为**直接量化的朴素二值化方法**，以及使用**最小化量化误差**、**改善网络损失函数和减小梯度误差**等技术的**改进二值化方法**。 本文还调研了二值神经网络的**其他实用方面**，例如**硬件友好的设计和训练技巧**。然后，我们对**图像分类，目标检测和语义分割**等不同任务进行了**评估和讨论**。最后，本文展望了**未来研究可能面临的挑战**。
Python 实现 Linear_Threshold 线性阈值模型算法
01-07
Linear_Threshold 社交网络影响力最大化算法（线性阈值算法以及改进算法） 1、Python 实现社交网络影响力最大化 Linear_Threshold（线性阈值模型）算法。 2、对线性阈值模型算法进行优化改进，实现贪心算法。 3、代码中有详细注释说明，测试代码，测试节点数据集，并对数据集进行处理，输出测试结果。 4、代码实现环境：Python2.7, Anoconda2,Pycharm2017。
二值神经网络（Binary Neural Network，BNN）
雨石
03-18 5万+
在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。
文献阅读——神经网络剪枝技术（二）
qq_37151108的博客
04-06 1942
神经网络剪枝技术 1.神经网络压缩技术 当前的神经网络压缩技术主要有6类：网络剪枝、参数共享、量化、网络分解、网络蒸馏、紧凑网络设计。 1.1网络剪枝 网络剪枝使用的比较广泛，将会在第二节详细介绍进行介绍。 1.2参数共享 主要思想是让网络中多个参数共享同一值，但具体实现方式不同。如利用k均值聚类、低秩分解、权重采样等。但可能会因为过分追求模型压缩比导致模型精度的下降。 1.3量化 量化方法通过降...
基于MATLAB的LSTM神经网络时序预测
m0_56146217的博客
03-18 9万+
首先在本文中不考虑已知序列的预测，即不使用观测值去进行下一步的预测，这在实际中是没有应用意义的，除非是已知实验数据再去进行一个模型的验证。 第一步：加载数据，并进行数据预处理 load Forcedata_1.mat %加载数据(double型，只有一列数据,时序预测没有实际时间，只有事情发生的顺序) data=force'; %将数据集转置 %% 序列的前 90% 用于训练，后 10% 用于测试 dataTrain = data(1:1000); %定义训练集 dataTest = da
BNN领域开山之作——不得错过的训练二值化神经网络的方法
limingmin2020的博客
03-28 2307
BNN领域入门必读：《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》
卷积神经网络超详细介绍
热门推荐
呆呆的猫的博客
09-19 60万+
海量的有标记的训练数据，也就是李飞飞团队提供的大规模有标记的数据集ImageNet计算机硬件的支持，尤其是GPU的出现，为复杂的计算提供了强大的支持算法的改进，包括网络结构加深、数据增强（数据扩充）、ReLU、Dropout等AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，Top-5的错误率也越来越低，目前已经降低到了3.5%左右，同样的ImageNet数据集，人眼的辨识错误率大概为5.1%，也就是深度学习的识别能力已经超过了人类。
二值VGG卷积神经网络加速器优化设计.pdf
09-25
"二值VGG卷积神经网络加速器优化设计" 本文主要研究了大尺度二值卷积神经网络加速器的设计和优化，以解决基于FPGA的加速器在资源和性能方面的瓶颈。文献回顾了当前神经网络加速器的研究现状，指出了流架构和层架构...
基于改进LeNet-5卷积神经网络的发票识别研究.pdf
09-25
5. 特征提取：提取发票的特征值，并对其进行二值化。 6. 识别：通过采LeNet-5模型对发票进行识别，并对其进行分类。 7. 结果输出：输出识别结果，包括发票的信息和金额等。 三、 实验结果 本文的实验结果表明，...
基于异质SVM神经网络的土壤盐渍化灾害预测模型.pdf
09-26
基于异质SVM神经网络的土壤盐渍化灾害预测模型 摘要：本文基于异质支持向量机（SVM）神经网络算法，建立了土壤盐渍化灾害预测模型，以预测银川平原的土壤盐渍化程度和潜在的发展趋势。通过对土地利用、地下水位、...
基于改进贝叶斯正则化BP神经网络模型的网络安全态势预测方法研究.pdf
09-20
二、基于贝叶斯正则化BP神经网络模型的网络安全态势预测方法 本文提出了基于改进贝叶斯正则化BP神经网络模型的网络安全态势预测方法。该方法结合贝叶斯算法和BP神经网络，实现了对网络安全态势的预测。贝叶斯算法...
关于BP神经网络的文献
04-20
BP神经网络，全称为Backpropagation Neural Network，是人工神经网络的一种典型模型，广泛应用于模式识别、函数拟合、数据分类等任务。该网络通过反向传播算法进行权重更新，从而实现对复杂非线性关系的学习。以下是...
轻量化神经网络模型
CHN_Jason的博客
04-11 2941
轻量化神经网络模型 一、剪枝 1、机器学习算法决策树中的剪枝处理 剪枝（pruning）是决策树学习算法对付“过拟合”的主要手段，基本策略有“预剪枝”（prepruning）和“后剪枝”（postpruning）。 （1）预剪枝 在决策树生成过程中，对每个结点在划分前进行评估，若当前的结点划分不能带来决策树泛化性能的提升，则停止划分并将当前结点标记为叶节点。 预剪枝使得决策树的很多分支都没有“展开”，降低“过拟合”风险的同时，显著减少了决策树的训练时间和测试时间开销。 有些分支虽然在当前的划分不能提升泛化能
二值神经网络（Binary Neural Networks）最新综述
Paper weekly
03-12 7506
作者｜秦浩桐、龚睿昊、张祥国单位｜北京航空航天大学研究方向｜网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary ...
bp神经网络适合小样本吗,BP神经网络参考文献
最新发布
shirley67269的博客
09-16 2822
为了方便观察数据分布，我们选用一个二维坐标的数据，下面共有4个数据，方块代表数据的类型为1，三角代表数据的类型为0，可以看到属于方块类型的数据有（1，2）和（2，1），属于三角类型的数据有（1，1），（2，2），现在问题是需要在平面上将4个数据分成1和0两类，并以此来预测新的数据的类型。批处理样本数量，标准的BP是单样本学习的方法，例如图片识别，第一个图是猫，然后输入图像，网络学习一次（变量更新一次），学习到图片的特征，然后再输入第二个图片狗，在前面的基础上再学习。
文献阅读（103）SNN
tiaozhanzhe1900的博客
07-10 469
文章目录名词解释 题目：Deep learning in spiking neural networks 时间：2019 期刊：Neural Network(B类) 研究机构：路易斯安那大学拉法叶分校 名词解释 spike-timing-dependent plasticity(STDP) Neuroscientists have identified many variants of this learning rule that falls under the umbrella term sp

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值