ShiftCNN —— 基于量化的低精度网络表达

最新推荐文章于 2024-02-02 13:49:06 发布
最新推荐文章于 2024-02-02 13:49:06 发布
阅读量6k 收藏 14
点赞数 4
分类专栏： 神经网络压缩与加速 文章标签： 神经网络 压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/77856900
版权
ShiftCNN是一种利用低精度和量化技术压缩与加速神经网络的方案，通过巧妙的残差量化方法和移位运算减少计算量。文章介绍了背景、量化过程和卷积计算方式，指出量化前需范围归一化，并提供模型转换示例代码。实验证明ShiftCNN无需再训练即可使用，但更多横向性能对比有待进一步研究。
摘要由CSDN通过智能技术生成

一个利用低精度和量化技术实现的神经网络压缩与加速方案。 个人认为，这是低精度量化方面少有的具有一定工程可行性的方案(虽然文中没有给出详细的模型大小速度方面的指标)。

文章链接： 《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》

模型转换示例代码： https://github.com/gudovskiy/ShiftCNN

相关背景

(1) 低精度数据表达

通常神经网络计算使用float32位。 有些人尝试用16bit或者8bit数据，但由于不再能使用现成的一些BLAS库，导致实际部署效率可能和设想相差较多。 另外，像BinaryNet(-1,+1)、ternary quantization(-1,0,+1)等，虽然可以采用移位操作来代替乘法，但往往导致网络性能下降较多。

(2) 卷积计算方式

除了在频率域计算卷积之外，利用矩阵乘法结合BLAS库是采用最多的卷积计算方法。 此外，也有一些采用查表法计算卷积的&#x

最低0.47元/天 解锁文章
shuzfan
关注
  • 4
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
优化改进YOLOv5算法之Shift-ConvNets，具有大核效应的小卷积核，效果提升明显
qq_40716944的博客
06-19 155
最近的研究表明，Vision transformers (ViTs)的卓越性能得益于大的感受野。因此，大型卷积核设计成为使卷积神经网络(CNNs)再次变得出色的理想解决方案。然而，典型的大的卷积核被证明是对硬件不友好的操作，导致与各种硬件平台的兼容性降低。因此，简单地增大卷积核的大小是不明智的。在本文中，我们揭示了小型卷积核和卷积操作可以实现大型内核大小的封闭效果。然后，我们提出了一种shift-wise操作，该操作借助稀疏机制确保CNN捕获长距离依赖关系，同时保持对硬件的友好性。
CNN：模型量化训练和部署
yly的博客
11-04 2226
训练后量化Post-training quantization： 混合量化--仅量化权重 全整型量化--权重和激活值都进行量化 半精度float16量化--仅量化权重 量化感知训练（Quantization-aware training） 是一种伪量化的过程，它是在可识别的某些操作内嵌入伪量化节点，用以统计训练时流经该节点数据的最大最小值，便于在转换格式时量化使用并减少精度损失。伪量化节点的意义在于统计流经数据的最大最小值并参与前向传播提升精确度，但其在转换为量化模型后，其工作原理还是与训练..
CNN 量化技术
emma1222的博客
05-29 3622
Quantize Model是一种模型加速（Model Acceleration）方法。 背景介绍 目前SOTA（State Of The Art，顶尖水平）的CNN都不适合在移动设备上部署，两点原因使CNN模型压缩和加速领域快速发展： 从AlexNet开始，CNN都以ImageNet上的分类准确率作为性能评估的主要甚至唯一标准，这使得CNN架构的发展都没有考虑模型复杂度和计算效率问题。 ...
CNN量化
A person does not really understand something until after teaching it to a computer. Donald.E.Knuth
08-15 253
参考：【模型压缩】训练时量化--training aware quantization 参考：Google CVPR 2018论文：CNN量化技术 参考：CNN Network quantization 阶段总结 参考：CNN 模型压缩与加速算法综述 参考：CNN压缩与加速 参考：基于FPGA的CNN算法移植（一）概述 ...
CNN量化-嵌入式移植
yiyayiya557的博客
06-12 1875
参考文章： 从TensorFlow Lite源码入门CNN量化 https://zhuanlan.zhihu.com/p/42811261 浮点峰值那些事儿 https://zhuanlan.zhihu.com/p/28226956 深度学习CPU，GPU，NPU，TPU以及其计算能力单位 https://blog.csdn.net/u010451780/article/details/104720082 CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的
从TensorFlow Lite源码入门CNN量化
weixin_41521681的博客
09-05 977
从TensorFlow Lite源码入门CNN量化 前言 从2012年AlexNet夺得当年ImageNet冠军开始，深度学习就开始呈爆破式发展，这个过程中迭代出很多优秀的深度学习代码框架，随着技术逐渐成熟，工业界对技术落地的需求越来越迫切，近几年的论文也慢慢分为两大派系，一派主要研究如何提高performance，另一派研究如何提高computational efficiency，当下已经诞生了很多模型压缩和加速方法，这些方法降低了服务器的运行负担甚至可以让高performance网络运行在移动.
基于低精度量化的无线传输理论最新研究进展
01-19
面向低精度量化在无线通信系统中的应用，综合论述了低精度量化对信道容量的影响以及低精度量化下接收机的设计，解决了低精度量化下诸如同步、增益控制、信道估计等问题，为低精度量化通信系统的具体实现提供指导。
低精度量化的通信
03-26
介绍低精度量化系统的应用背景及国内外研究现状,采用低精度ADC的无线接收机的性能
中小企业银行贷款风险管理实证研究——基于量化的风险评价.pdf
11-23
中小企业银行贷款风险管理实证研究——基于量化的风险评价.pdf
基于Octave卷积的混合精度神经网络量化方法.pdf
09-25
基于Octave卷积的混合精度神经网络量化方法 基于Octave卷积的混合精度神经网络量化方法是指一种神经网络量化方法，该方法利用Octave卷积将输入特征图的高频和低频成分进行分离，然后分别对高低频分量应用不同位宽的...
创新型企业资本运营风险评价研究——基于模糊BP神经网络模型.pdf
09-27
创新型企业资本运营风险评价研究——基于模糊BP神经网络模型 本文从客观风险、系统风险和特质风险三个方面，对创新型企业资本运营风险进行识别和评价，建立了创新型企业资本运营风险评价指标体系，并采用分层聚类法...
CNN模型 INT8 量化实现方式（一）
热门推荐
AI小作坊 的博客
11-27 1万+
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？在网上找到了两种实践方法，这里先介绍其中的一种。 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https://b...
基于深度CNN的股票量化策略学习笔记
最新发布
STDRsl的博客
02-02 971
参考资料：Sezer， Omer & Ozbayoglu， Murat.（2018）. 基于深度卷积神经网络的算法金融交易：时间序列到图像转换方法.应用软计算。这篇论文讨论了将计算每天具有不同窗口大小的技术指标，然后将每天的指标转换为图像，并将其提供给卷积神经网络进行训练。实现对表格形式的股票趋势进行图像分类，这确实是一个有趣的思路，故而此文尝试实现，并且罗列一些遇到的问题。
判断深度学习模型的稳定性_人工智能干货｜一线工程师带你学习深度学习模型量化理论+实践...
weixin_39681058的博客
11-20 1102
2019年的最后一天，送给自己一份特殊的礼物。模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1)量化算法介绍及其特点分析，让你知其然并知其所以然； 2)Pytorch 量化实战，让你不再纸上谈兵；3)模型精度...
干货！面向低精度量化的神经网络训练算法
AITIME_HY的博客
07-07 1277
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！对神经网络进行低精度量化，尤其是混合精度量化，是提升神经网络部署效率的重要方法之一。然而，如何让神经网络适应低精度的表示，如何选取最合适的量化精度，依然存在很多没有解决的问题。本报告将从两方面探讨低精度神经网络的训练方法。为了获得最优的量化精度，我们提出了BSQ比特稀疏量化算法，使模型能在训练过程中自发得到合适的混...
CNN模型压缩总结
qq_23546067的博客
12-20 2345
CNN模型压缩总结 总结综述 参考：https://blog.csdn.net/shentanyue/article/details/83508497 模型裁剪/剪枝（Pruning） 单个权重(Weight)剪枝——非结构化 定义：任意权重被看作是单个参数并进行随机非结构化剪枝。 缺点： 导致网络连接不规整，需要通过稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空间来...
shift论文翻译
YueYuenum的博客
01-26 1568
Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions 摘要 神经网络依靠卷积来聚合空间信息。 但是空间卷积在模型大小和计算方面是昂贵的，两者相对于内核大小都呈平方增长。 在本文中，我们提出了无参数，无FLOP的“移位”操作，以替代空间卷积。 我们融合了移位和逐点卷积，以构建端到端可训练的基于移位的模块，并具有超参数特性，可在准确性和效率之间进行权衡。 为了证明该手术的功效，我们将ResNet的3x3卷积替换为基
CNN网络量化 - Quantized Convolutional Neural Networks for Mobile Devices
cv_family_z的博客
08-24 1万+
Quantized Convolutional Neural Networks for Mobile DevicesCVPR2016GitHub code: https://github.com/jiaxiang-wu/quantized-cnn本文主要是通过对CNN网络的量化，达到压缩模型大小及加快速度的目的，牺牲的准确率比较小。CNN网络在 test phase ， 运算时间主要消耗在卷积层，C
优化CNNs--量化方法进展介绍
dnvtmf的专栏
07-09 6042
介绍了最新的几种通过量化方法来优化卷积神经网络的网络结构
深度量化神经网络：效率与精度白皮书概要
本篇量化神经网络白皮书主要探讨了如何通过技术手段将深度卷积神经网络（Deep Convolutional Neural Networks, DCNNs）转换为在推理阶段使用整数权重和激活的高效模型。作者Raghuraman Krishnamoorthi针对该主题进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值