AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKS

最新推荐文章于 2024-10-18 16:08:35 发布
最新推荐文章于 2024-10-18 16:08:35 发布
阅读量157 收藏
点赞数
分类专栏： 模型量化论文 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49234921/article/details/124952067
版权
本文提出了一种针对卷积网络的压缩方法，专注于保持网络输出的重构质量而非权重。通过使用向量量化，特别是产品量化（PQ），在压缩ResNet-50模型至5MB的同时，保持了76.1%的ImageNet分类精度。此外，该方法还应用于Mask R-CNN，实现了26倍的压缩。这种方法利用了层间相关性和加权k-平均，对未标记数据进行蒸馏训练，以指导逐层压缩并微调码字。
摘要由CSDN通过智能技术生成

AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKS


在这里插入图片描述

ABSTRACT

在本文中，我们解决了减少卷积网络架构的内存占用的问题。我们引入了一种向量量化方法，旨在保持网络输出的重构质量，而不是其权值。我们的方法的原理是，它最小化了域内输入的损失重构误差。我们的方法只需要在量化时使用一组未标记的数据，并允许通过使用字节对齐的码本（byte-aligned codebooks）存储压缩的权值来对CPU进行有效的推断。我们通过将高性能的ResNet-50模型量化为5MB（20×压缩因子）来验证我们的方法，同时在ImageNet对象分类上保持前1的精度76.1%，并通过用26×因子压缩掩模R-CNN来验证我们的方法。

补充知识：码本是什么？

我觉得这个解释我容易理解，所以笔记就记录了
在这里插入图片描述

1 IN

了解本专栏 订阅专栏 解锁全文 超级会员免费看
m0_49234921
关注
专栏目录
订阅专栏
【神经网络压缩加速之量化一】And the Bit Goes Down: Revisiting the Quantization of Neural Networks
My Blogs
09-16 1136
摘要: 在本文中，我们解决了减少ResNet类卷积网络架构的内存占用问题。我们引入了一种矢量量化(Vector Quantization)方法，旨在保持网络输出的重建质量而不是其权重。 我们的方法的优点是它最小化了域内输入(in-domaininputs)的损失重建误差，并且不需要任何标记数据。 我们还使用字节对齐的码本(byte-aligned codebooks t)来生成压缩网络，并对C...
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 787
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
【今日CV 计算机视觉论文速览 143期】Mon, 15 Jul 2019
TomRen
07-15 1478
第143期 视觉论文速览 --图像解耦操作 --水下图像增强及合成新算法
ICLR 2020会议的16篇最佳深度学习论文
AI公园
05-12 3878
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Kamil Kaczmarek编译：ronghuaiyang导读给大家介绍一下今年的ICLR上的最佳16篇深度学习论文。上...
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 6万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
Revisiting multiple instance neural networks
04-18
Of late, neural networks and Multiple Instance Learning (MIL) are both attractive topics in the research areas related to Artificial Intelligence. Deep neural networks have achieved great successes in...
【点云系列】PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies
weixin_43882112的博客
09-05 2457
PointNeXt点云网络框架优化
Designing E-learning Interactions in the 21st Century: revisiting and rethinking the role of theory
05-26
在21世纪设计电子学习互动：重新审视与思考理论的作用 在当今数字化时代，电子学习（E-learning）已经成为教育领域的重要组成部分。然而，许多人错误地认为电子学习是近几十年的新事物，实际上，其起源可以追溯到20...
【神经网络压缩加速之剪枝二】Pruning Filters for Efficient ConvNets
My Blogs
09-24 1287
Abstract 神经网络的广泛应用伴随着计算量的增加和参数存储成本. 最近的研究工作在不损害原来准确度的基础上,通过剪枝和压缩不同层间的权重进行网络压缩. 然而,基于幅值的剪枝(magnitude-based pruning)仅能够减少全连接层的参数,而由于修剪网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本. 我们提出了一个加速的剪枝方法,即修剪那些被认为对输出准确度有很小影响的...
【论文阅读笔记】Two-Step Quantization for Low-bit Neural Networks
时光机 °的博客
11-10 2080
概要总结   该方法主要就如论文名字一样，把量化激活值和权重的过程分为两步，其主要思想就是先量化激活值再量化权重(以前的方法将激活值和权重一起量化，这样两个量化方向紧密耦合)。   针对量化激活值，提出了稀疏量化方法(作者认为稀疏在网络压缩和加速中能起到很大的作用)。而对于权重量化，将权重量化看成 low-bit 的非线性最小二乘回归问题(对于权重而言，其目的就是得到和原先差不多的输出)。   将...
【神经网络压缩加速之剪枝一】Filter Pruning via Geometric Median for Deep Convolutional Neural Network Acceleration
My Blogs
09-23 3528
Abstract 之前的研究工作都是基于"较小范数不重要"的准则上裁剪神经网络中具有较小范数的卷积核.在这篇论文中,我们分析了基于范数准则并指出该准则的有效性依赖于两个要求,但这两个要求很少同时得到满足.第一,卷积核的范数值分布偏差必须大,即方差大;第二,卷积核中的最小范数必须足够小. 为了解决在不满足上述两个要求的情况下也能压缩网络,本文提出了一个新颖的卷积核剪枝方法,称为基于几何中值的卷积核...
AI学习指南深度学习篇-变分自编码器在深度学习中的实际应用
俞兆鹏的博客
10-13 716
变分自编码器是一种生成模型，它通过编码器-解码器结构实现数据的生成与重建。与传统的自编码器不同，VAE在潜在空间中引入了概率分布，使得生成的新样本具有更好的多样性。
吴恩达深度学习笔记：卷积神经网络（Foundations of Convolutional Neural Networks）3.5-3.6
weixin_43597208的博客
10-15 1172
在 YOLO 算法中，对于这个方框（编号 1 所示），我们约定左上这个点是(0,0)，然后右下这个点是(1,1) ,要指定橙色中点的位置，𝑏𝑥大概是 0.4，因为它的位置大概是水平长度的0.4，然后𝑏𝑦大概是 0.3，然后边界框的高度用格子总体宽度的比例表示，所以这个红框的宽度可能是蓝线（编号 2 所示的蓝线）的 90%，所以𝑏ℎ是 0.9，它的高度也许是格子总体高度的一半，这样的话𝑏𝑤就是 0.5。所以你要做的是，有一个输入𝑥，就是这样的输入图像，然后你有这些 3×3×8 的目标标签𝑦。
深度学习-28-基于Keras的十大经典算法之长短期记忆网络LSTM
最新发布
qq_20466211的博客
10-18 146
长短期记忆网络LSTM的基本结构介绍，将其输入数据的结构进行可视化显示，同时基于模拟数据搭建了简单的LSTM模型，对数据进行了训练和预测，并显示了训练过程的损失曲线。
【深度学习】经典的深度学习模型-01 开山之作：CNN卷积神经网络LeNet-5
10-12 498
Note: 草稿状态，持续更新中，如果有感兴趣，欢迎关注。。。
深度学习：卷积神经网络（CNN）详解
m0_73640344的博客
10-14 2027
卷积神经网络（CNN）通过引入卷积层、池化层和全连接层，利用权值共享、局部感受野和平移不变性，成为处理图像和视觉任务的强大工具。其多层次特征提取的能力使其能够从低级到高级捕捉数据中的重要模式。尽管CNN在视觉任务中表现出色，但其在捕捉全局信息和处理长距离依赖上存在一定局限，促使了包括ResNet、Inception等在内的各种改进模型的发展。
基于深度学习的车辆车型检测识别系统（YOLOV5）
ANDROID6666666的博客
10-16 418
本项目旨在开发一个基于深度学习的车辆识别系统，采用先进的yoloV5网络架构，以实现对不同车型的精准识别。系统开发环境选用Pycharm集成开发环境，并结合Anaconda进行环境管理和包依赖的配置。为了确保系统的稳定性和高效性，我们选择了Python 3.8作为开发语言，并集成了opencv、PyQt5以及torch1.9等关键库和框架。在数据方面，准备了总共9000张图片，其中8000张用于训练模型，剩余的1000张用于测试模型的性能。
基于深度学习的智能传感与监控
weixin_42605076的博客
10-15 857
智能传感技术的核心是传感器通过监测环境中的各种物理量（如温度、湿度、压力、图像、声音等），并将这些数据传输到计算系统。传统传感系统的主要功能是数据采集和传输，而智能传感通过深度学习算法赋予了传感系统数据分析、自动决策和自我优化的能力。
revisiting knowledge distillation: an inheritance and exploration framework
12-02
这篇论文回顾了知识蒸馏的概念，并提出了一个继承和探索的框架。知识蒸馏是一种模型压缩的技术，它通过将复杂模型的知识传递给简化的模型来提高模型的性能和效率。在这篇论文中，作者们指出知识蒸馏不仅仅是一种模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m0_49234921

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值