【模型剪枝】|Pruning Convolutional Neural Networks for Resource Efficient Inference

最新推荐文章于 2023-04-11 23:22:58 发布
最新推荐文章于 2023-04-11 23:22:58 发布
阅读量537 收藏 2
点赞数
分类专栏： 模型剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/115437134
版权

https://github.com/jacobgil/pytorch-pruning
[ICLR’17]论文链接：https://arxiv.org/abs/1611.06440

这篇论文来自NVIDIA，论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。

剪枝之后的VGG准确率从98.7% 掉到97.5%.
网络大小从 538 MB压缩到 150 MB.
在i7 CPU上，对一张图的推断时间从 0.78 减少为 0.277 s，几乎是3倍加速。

裁剪filter的依据是：
用Taylor展开来近似pruning的优化问题。

需要注意的是，裁剪某一层的filter后，下一层的weight也需要更新。

在这里插入图片描述
ref

https://blog.csdn.net/qq_23225921/article/details/78807652

https://blog.csdn.net/liujianlin01/article/details/80654681?utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

rrr2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pruning Convolutional Neural Networks for Resource Efficient Inference代码详解
qq_23225921的博客
12-14 3898
Pruning Filter代码详解 对论文Pruning Convolutional Neural Networks for Resource Efficient Inference的pytorch版本的代码详解
模型剪枝四：Pruning Convolutional Neural Networks For Resource Efficient Inference
cdknight_happy的专栏
05-13 5133
论文地址：https://arxiv.org/abs/1611.06440v2 英伟达出品的模型剪枝论文，NVIDIA Transfer Learning Toolkit就是基于这篇论文进行实现的？ 0 摘要 我们提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。我们将基于贪婪标准的修剪与通过反向传播的微调交错 - 实现了一种高效的的过程，在修剪后的网络中保持了良好的泛化能力。我们提出...
Pruning convolutional neural networks for resource efficent inference
langzi453的博客
02-14 821
这是篇2017年ICLR的会议，文章提出了一种基于泰勒展开的网络剪枝方法。文章认为，这里一类的剪枝方法一般分为三类： 一个已经训练好的网络 基于一定的准则在修剪和微调反复 适时地停止   所以，这个修剪的“准则”就十分的重要，文章列出了一些以往的准则： Minimun weight：训练时加入L1或L2正则化，并修剪权值小于某一阈值的权重 Activation：修剪经激活层后与sm...
【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-11 6174
论文链接：https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。 论文中提出了一种用于修剪神经网络中的卷积核的新公式，以实现有效的推理。 论文中提出了一个基于泰勒展开的修剪新准则，用它去近似由于修剪网络参数引起的损失函数的变化。
论文品读：Pruning Convolutional Neural Networks for Resource Efficient Inference
hsqyc的博客
12-12 3647
  模型裁剪系列相关论文品读博客： 1.论文品读：Learning both Weights and Connections for Efficient Neural Networks https://blog.csdn.net/hsqyc/article/details/83421061 2.论文品读：Network Trimming: A Data-Driven Neuron Pruni...
Automatic Brain Tumor Segmentation using Convolutional Neural Networks with Test
03-10
论文:测试时数据增强(TTA):Automatic Brain Tumor Segmentation using Convolutional Neural Networks with Test
DeepLabV3+模型剪枝实战
最新发布
03-05
本文将详述“DeepLabV3+模型剪枝实战”这一主题，旨在优化模型的性能，减小计算资源需求，同时保持模型的预测准确性。 DeepLabV3+是一款用于语义分割任务的先进卷积神经网络（CNN）模型，它在图像分析、自动驾驶、...
ModelPrune模型剪枝.zip
03-27
1，神经网络和卷积神经网络模型剪枝方法。 2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。 3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。
模型剪枝2015-2020论文合集|已分类已整理
10-25
模型剪枝领域，2015-2020论文合集，根据github上awesome-pruning 下载整理的，包括基本所有的论文和综述，已分类整理重命名（如CVPR2020-论文名）十分全，强烈建议下载阅读~
Implementing Pruning Convolutional Neural Networks for Resource Efficient Inference in Mxnet
weixin_42071277的博客
05-09 472
一、代码分析： 参考pytorch代码对论文《Pruning Convolutional Neural Networks for Resource Efficient Inference》使用mxnet框架进行了复现，代码来自于一个GitHub的项目，本文主要是在其代码的基础之上，移植到mxnet的框架之上，移植的过程中发现了很多的问题算是好好学习了一下mxnet吧。 首先剪枝过程主要是通过P...
Pruning Convolutional Neural Networks for Resource Efficient Inference代码jacobgil大神源码分享
weixin_41023856的博客
02-26 448
已经标好的训练集和测试集： https://github.com/Yipzcc/taylor_cats_dogs_classification 下载后按照readme.md文件提示应该就可以运行 参考文献： https://blog.csdn.net/qq_23225921/article/details/78806999?depth_1-utm_source=distribute.pc_rel...
Paper Reading: Variational Convolutional Neural Network Pruning
surtol的博客
03-20 705
ContentBrief introductionImplementation A pruning method that based on Batch Normalization layer. Variational Convolutional Neural Network Pruning Brief introduction To prune a filte in nj Implementat...
Convolutional Neural Network Pruning with Structural Redundancy Reduction 公式解读
a578831363的博客
04-14 1198
Convolutional Neural Network Pruning with Structural Redundancy Reduction 公式解读3， Claim3.1 引入网络的五种剪枝情况3.2 粗略证明文章的中心思想3.3 详细比较五种情况3.3.1 切比雪夫不等式3.3.2 使用切比雪夫不等式4， Methodology4.2 Pruning with structural redundancy reduction4.2.2 lll-covering number4.2.3 Decompo
EffNet: An Efficient Structure for Convolutional Neural Networks
u011961856的专栏
01-23 1227
EffeNet对MoblieNet网络进行改进,主要思想为: 首先,将MoblieNet的3×33\times3的depthwise convolution层分解为两个3×13\times1,1×31\times3depthwise convolution层.这样便可以在第一层之后就采用pool操作,从而减少第二层的计算量. 如图1所示,在第一个卷积层之后,使用1×21\times2 ma
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 神经网络架构搜索
jinyi763776890的博客
04-11 603
与同时使用 DDPG 和 的 AMC [1-1] 相比，该方法使用近端策略优化 (PPO) 算法 [261] 作为策略，因为 PPO 给出了更好的实验结果。此外，由于专门设计的图环境，RL 系统的奖励不需要包含稀疏约束。此外，zero pruning indicator将归零权重的梯度，保持修剪层的权重以便于重新评估。多个agents 的存在来自于为层中的所有通道分配专用agents ，每个agents 只学习一个表示二元决策的参数。此外，通过将保留的通道限制为给定的空间，它大大减少了修剪结构的组合。
Reading Note: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
joshua_1988
07-24 2364
TITLE: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
初入神经网络剪枝量化5（大白话）
weixin_42638415的博客
04-23 5033
最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。 ①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf 这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。 核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删除， 认为权重的绝对值越小，则权重的作用也就越小。 ②Pru...
网络轻量化 - 泰勒剪枝
Bro_Jun的博客
01-04 1362
原文：《PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE》 目录算法部分通道重要性判断通道重要性判断的主流方法本文的通道重要性判断方法 - 一阶泰勒展开与其他标准联合判断对每个通道的重要性进行归一化FLOPs 正则化使用迭代式剪枝来降低精度损失代码部分hook 介绍register forward hookregister backward hookHook for Tensor 算法部分 通道重要性判断 通道重要性
代码pruning convolutional neural networks for resource efficient inference
08-14
代码修剪卷积神经网络用于资源高效推理，是一种优化模型的方法，旨在减小模型的尺寸和计算量，从而实现在资源受限的设备上进行高效推理。 修剪是指通过删除模型中的一些参数或神经元来减小模型的复杂性。在卷积神经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值