TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS

最新推荐文章于 2024-09-09 20:32:57 发布
最新推荐文章于 2024-09-09 20:32:57 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18053809/article/details/93348486
版权
本文探讨了如何在深度神经网络中对权重、激活、误差和梯度进行量化，通过特定的初始化和尺度调整，甚至在训练和推理阶段实现了与BN类似的效果，减少了对数据精度的需求。然而，该方法对激活的量化假设均值为0，这可能不够精确。
摘要由CSDN通过智能技术生成

本篇文章主要创新点在于不仅仅提供了对activation 和weights的量化，还通过同样的方式，对gradient和error进行了量化。将模型的量化做的更加深入。
这篇文章主要分为两块，第一块是知识铺垫，第二块是四个量化

知识铺垫
MACs（矩阵乘法）会导致量化bit增加

在这里插入图片描述
K指量化的bit数。这个图比较难理解的地方在于右边。 [ k E + k A − 1 ] [k_{E}+k_{A}-1] [kE​+kA​−1] 和 [ k E + k w − 1 ] [k_{E}+k_{w}-1] [kE​+kw​−1]是怎么得到的。
其实就是根据bp 过程分析出来的。以第一个为例，
在这里插入图片描述
根据这个公式，其中 a k l − 1 a_{k}^{l-1} a

最低0.47元/天 解锁文章
许多天的rua
关注
专栏目录
Property Inference Attacks on Fully Connected Neural Networks
06-27
Property Inference Attacks on Fully Connected Neural Networks using Permutation Invariant Representations
量化训练、推理神经网络-WAGE
crw1111111的博客
04-28 1527
1. WAGE背景介绍 WAGE（Training and Inference with Integers in Deep Neural Networks）是ICLR2018的Best Paper，这篇论文提出了一种量化神经网络的框架，可以将神经网络中的参数（Weight）、激活值（Activation）、梯度（Gradient）以及误差（Error）进行可选比特长度的整型量化。在本文中使用WiW...
【ICLR 2018录用结果出炉】23篇oral干货，强化学习、对抗网络、可解释性最受关注...
weixin_34341229的博客
01-31 418
Oral Papers：23篇 1、AmbientGAN: Generative models from lossy measurements （AmbientGAN：来自有损测量的生成模型） 作者：Ashish Bora, Eric Price, Alexandros G. Dimakis（德州大学） 论文地址：https://openreview.n...
一文彻底搞懂Fine-tuning - 训练和推理（Training vs Inference）
最新发布
m0_59235699的博客
09-09 717
Inference如何评估模型性能？模型评估（Evaluation）是指对训练完成的模型进行性能分析和测试的过程，以确定模型在新数据上的表现如何。Evaluation分类任务常见的评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数（F1 Score）等。Evaluation。
嵌入式和移动深度学习研究
Mars_WH的专栏
08-30 1683
转载自：https://github.com/EMDL/awesome-emdl 文章目录EMDLPapersSurveyModelSystemQuantizationPruningApproximationCharacterizationLibrariesInference FrameworkOptimization ToolsResearch DemosWebTutorialsGeneralN...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 3982
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
神经网络的模型压缩---论文
dfql83704的博客
01-03 959
模型压缩经典的论文总结于此，方便以后查找！！！ Survey Recent Advances in Efficient Computation of Deep Convolutional Neural Networks, [arxiv '18] A Survey of Model Compression and Acceleration for Deep Neural Netw...
Causal Inference and Discovery in Python
08-21
"Causal Inference and Discovery in Python" 本书《Causal Inference and Discovery in Python》旨在介绍机器学习和Pearlian Perspective下的因果推断和发现技术，通过使用DoWhy、EconML、PyTorch等库，帮助读者_...
Recognizing Inference in Texts with Markov Logic Networks
02-21
这种方法旨在通过概率逻辑推理来解决识别文本中蕴含关系（Inference in Texts，简称RITE）的问题。在自然语言处理（NLP）领域，文本推理是近年来受到广泛关注的研究话题，它涉及到文本之间含义的推断，例如判断一个...
论文研究-神经网络模型压缩方法综述.pdf
07-22
由于存储空间和功耗的限制，神经网络模型在嵌入式设备上的存储和计算仍然是一个巨大的挑战。模型压缩作为一种有效的解决方法，受到了越来越多研究者的关注。针对卷积神经网络模型进行了研究，分析了模型中存在的冗余信息，并对国内外学者在神经网络模型压缩方面的研究成果整理，从参数剪枝，权重共享和权重矩阵分解等方面总结了神经网络压缩的主要方法。最后针对神经网络模型发展现状及目前面临的若干主要问题进行了讨论，指出了下一步的研究方向。
（CNN最新进展综述）Recent Advances in Convolutional Neural Networks
11-25
CNN广泛用于图像、语音信号处理。本文是对近年来CNN方法的综合论述，对CNN相关算法进行了深入总结与分析
ICCV2019 | 北航、百度与华为联合提出贝叶斯优化的1-Bit CNNs
AMiner2006的博客
11-16 1693
Bayesian Optimized 1-Bit CNNs 论文作者：Jiaxin Gu, Junhe Zhao,Xiaolong Jiang,Baochang Zhang,Jianzhuang Liu, Guodong Guo, Rongrong Ji（北京航空航天大学，百度深度学习研究院，华为诺亚方舟实验室等） 论文地址：https://arxiv.org/pdf/1908.06314v1...
BinaryConnect: Training Deep Neural Networks with binary weights during propagations 论文笔记
Jayxbx的博客
06-08 2885
0 摘要     深度神经网络在大量任务中取得了最先进的成果。GPU因为其更快的计算速度，帮助深度网络实现了这些突破。未来，在训练和测试时更快的计算速度对于进一步发展，以及能够在低功耗设备上的消费级别的应用可能至关重要。因此，对深度学习专用硬件的研究和开发展开了新的热潮。二值权重，即仅限于两个可能值（例如-1或1）的权重，通过用简单累加代替许多乘法—累加操...
网络加速和压缩技术论文整理
mingo_敏
05-07 3382
从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。 低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Networ...
深度学习中训练、推理和验证分别都是什么意思
Env1sage的博客
08-03 5382
训练是深度学习模型的初始阶段，其中模型通过学习数据的过程来逐步优化自己的参数，以便能够捕获输入数据的特征并执行特定任务。在训练阶段，模型接收训练数据集（包括输入特征和相应的标签或目标值），并使用优化算法（如梯度下降）来调整模型参数，以最小化预测值与真实标签之间的差距（损失函数）。训练的目标是使模型能够从数据中学习到一般的模式，以便在以后的推理阶段中进行准确的预测。验证是在训练阶段用于监控模型性能和避免过拟合的过程。在推理阶段，模型接收新的、未见过的数据样本，并根据其已学习到的特征和模式，生成预测结果。
yoloV3 单张图像测试（slimYoloV3）
godloveme的专栏
09-20 2261
import argparse import json from torch.utils.data import DataLoader from models import * from utils.datasets import * from utils.utils import * def test_one_image( cfg, ...
Unifying Training and Inference for Neural Image Generation
05-12
"Unifying Training and Inference for Neural Image Generation" is a research paper that proposes a new approach to training and inference for neural image generation models. The authors argue that current methods for training these models often require complex architectures and a two-stage process that separates training and inference. This can lead to inefficiencies and difficulties in optimizing the models. The proposed method, called "progressive differentiation," unifies the training and inference processes by dynamically adjusting the model architecture during training. This allows the model to learn and refine its generated images in a single stage, without the need for complex architectures or separate training and inference stages. The authors demonstrate the effectiveness of their approach on several benchmark datasets, showing that it achieves state-of-the-art results with fewer parameters and faster training times. The results suggest that unifying training and inference could be an important step towards more efficient and effective neural image generation.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值