【模型剪枝】Network Slimming：卷积核剪枝

最新推荐文章于 2024-04-11 09:34:28 发布
最新推荐文章于 2024-04-11 09:34:28 发布
阅读量3.4k 收藏 18
点赞数 1
分类专栏： 深度学习 模型压缩 文章标签： 剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DL_wly/article/details/100142380
版权
本文介绍了2017年ICCV论文《Learning Efficient Convolutional Networks through Network Slimming》中的卷积网络剪枝方法，通过BN层的gamma参数评估并剪枝卷积核。在实验中，L1正则化用于约束gamma参数，并在剪枝后进行微调。尽管在CIFAR-10和CIFAR-100上展示了良好的压缩和加速效果，但如何在硬件实现中设计和应用这些剪枝后的网络仍是一个挑战。
摘要由CSDN通过智能技术生成

paper：Learning Efficient Convolutional Networks through Network Slimming

这是一篇做剪枝的paper，2017的ICCV文章。

主要亮点在于直接使用BN层的gamma参数进行剪枝评估。在卷积核的级别做剪枝，非常方便好用。

问题：

这篇paper中，Lamda的选择标准和阈值标准没有给出，应该就是作者实验试出来的。

因此，lamda能不能通过网络学习得到呢，这样其实更实用。

Idea

先看Batch Norm（BN）: 

image

最低0.47元/天 解锁文章
Lingyun_wu
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
TensorFlow中卷积参数剪枝的实现基础探究
m_buddy的博客
02-24 464
1. 背景 这里的任务是要在TF框架下运用现在已经较为成熟的剪枝算法，由于TF中对于可训练参数的管理与Pytorch、Caffe并不相同，这篇文章对其TF实现卷积参数剪枝进行了探究。 2. TF中可训练参数的存储 TF中是将网络构建为一个计算图，在一个计算图中可以通过集合(collection)来管理不同类别的资源。比如通过tf.add_to_collection函数可以将资源加入一个或多个集合中...
DeepLabV3+模型剪枝实战
03-05
DeepLabV3+是一款用于语义分割任务的先进卷积神经网络（CNN）模型，它在图像分析、自动驾驶、医学影像处理等领域有广泛应用。原版的DeepLabV3+模型包含大量的参数和计算操作，这导致其在硬件资源有限的设备上运行时...
PRUNING-卷积神经网络剪枝
acx0000的博客
09-25 1796
本文提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。作者交错进行基于贪婪标准的剪枝和通过反向传播的微调，实现了高效的剪枝，并且剪枝后的模型保持了良好的泛化能力。作者提出了一种基于泰勒展开的新的评价标准，该标准近似于修剪网络参数引起的代价函数的变化。与其他标准(例如，对用于细粒度分类的大型CNN使用卷积核或特征图的范数进行剪枝只使用了一阶梯度信息)相比，本文提出的标准性能更好。实验表明，本文算法在理论上可以在基本不影响模型准确率的情况下将3D卷积滤波器的大小压缩超过10倍，本文的算法也适用于基于
使用Network Slimming优化深度学习模型：实现高效与轻量级
最新发布
gitblog_00061的博客
04-11 408
使用Network Slimming优化深度学习模型：实现高效与轻量级 项目地址:https://gitcode.com/Eric-mingjie/network-slimming 在当今AI时代，深度学习模型广泛应用于图像识别、自然语言处理等众多领域。然而，这些模型往往需要大量的计算资源和内存，这限制了它们在资源受限设备（如手机或IoT设备）上的应用。为了解决这个问题，我们向您推荐一个名为“Ne...
PyTorch--模型剪枝案例
ssunshining的博客
06-04 3977
根据掩码图对应权重矩阵将对应位置上的值替换为0
【深度学习】【pytorch】对卷积层置零卷积核进行真实剪枝
yangyu0515的博客
11-02 1393
【深度学习】【pytorch】对卷积层置零卷积核进行真实剪枝
Network slimming，一个比较好用的模型剪枝方法
小菜鸟的AI之路
06-24 2250
由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。常见的方法比如：量化、剪枝、蒸馏等，本文便是“剪枝”当中一篇非常经典的文章，也是比较有效果的一篇文章。本文方法其实比较简单：首先，使用L1 regularization对BN层的scaling factor进行稀疏化训练，然后将scaling factor较小的参数相连接的filter减掉，达到减少模型size.
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝.zip
01-03
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝 用 YOLOv3 模型在一个开源的人手检测数据集 oxford hand 上做人手检测，并在此基础上做模型剪枝。对于该数据集，对 YOLOv3 进行 channel ...
ModelPrune模型剪枝.zip
03-27
1，神经网络和卷积神经网络模型剪枝方法。 2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。 3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。
yolov8s模型进行剪枝源码
05-13
实现步骤: 1. yolov8s模型预训练 2. 模型稀疏化sparsity 3.剪枝 4. finetune 经过键枝后,finetune60个epoch达到原模型迭代52个epoch的mAP值0.78，模型的大小减少了2/5。
基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现
03-13
本文将深入探讨三种常见的模型剪枝技术：L1-norm剪枝、Slimming以及AutoSlim，这些技术在降低模型大小、提高运行效率的同时，尽可能保持模型的性能。 一、L1-norm剪枝 L1-norm剪枝是一种基于权重绝对值的剪枝策略...
基于深层卷积神经网络的剪枝优化
10-15
随着近几年来深度学习的兴起，其在目标检测、图像分类、语音识别、自然语言处理等机器学习领域都取得了重大的突破，其中以卷积神经网络在深度学习中的运用较多。自VGGNet出现以来，深度学习逐渐向深层的网络发展，网络越来越深，这不仅增大了对硬件平台存储、运行内存的需求，还大大增加了计算量，对硬件平台资源的要求越来越高。因此将深度学习应用于嵌入式平台尤为困难。对此，通过对模型进行剪枝的方法将训练好的网络模型压缩处理，在基本保证准确率的情况下去除不重要的参数，缩减模型，减小网络的计算复杂度，将深度学习应用于嵌入式平台。
模型轻量化操作——剪枝
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
09-04 5636
删除权重小于一定阈值的连接或者神经元节点得到更加稀疏的网络。
模型剪枝方法
一行一生
05-20 3553
Model Pruning 是一种模型压缩方法，对深度神经网络的稠密连接引入稀疏性，通过将“不重要”的权值直接置零来减少非零权值数量. 在 Optimal Brain Damage【2】中，使用对角 Hessian 逼近计算每个权值的重要性，重要性低的权值被置零，然后重新训练网络。 在 Optimal Brain Surgeon【3】中，使用逆 He...
深度学习模型压缩-卷积裁剪
AI爱好者的博客，分享计算机领域相关知识
03-08 1768
深度学习模型压缩，卷积裁剪原理及实现方法，包括L1Norm裁剪，L2Norm裁剪，FPGM裁剪。
pytorch基于卷积层通道剪枝的方法
yyqq7226741的博客
10-21 7803
本文基于文章：Pruning Convolutional Neural Networks for Resource Efficient Inference https://arxiv.org/abs/1611.06440 下面以ResNet模型为例，讲解剪枝方法。 1 评估神经元（即通道）重要性 1.1 给模型中所有conv layer重新编号排次序； 1.2 计算每个conv ...
【神经网络压缩加速之剪枝一】Filter Pruning via Geometric Median for Deep Convolutional Neural Network Acceleration
My Blogs
09-23 3494
Abstract 之前的研究工作都是基于"较小范数不重要"的准则上裁剪神经网络中具有较小范数的卷积核.在这篇论文中,我们分析了基于范数准则并指出该准则的有效性依赖于两个要求,但这两个要求很少同时得到满足.第一,卷积核的范数值分布偏差必须大,即方差大;第二,卷积核中的最小范数必须足够小. 为了解决在不满足上述两个要求的情况下也能压缩网络,本文提出了一个新颖的卷积核剪枝方法,称为基于几何中值的卷积核...
剪枝论文一（Network Slimming）
蓝鲸鱼的博客
07-31 2126
本文介绍一种经典的模型压缩方法Network Slimming，可以实现： 减小模型大小 减少运行时的内存占用 在不影响精度的同时，降低计算操作数 论文中提供的示意图如下，可以看到左侧橙色的神经元权重较小，因此剪枝之后就去掉了这些层的连接。论文的思路即通过去掉权重较小的神经元来达到精简网络的目的。 实现去掉权重较小的神经元的流程如下： 代码实现步骤： 给定要保留层的比例，记下所有BN层大于该比例的权重。根据比例设置阈值，根据阈值建立一个mask，大于阈值的部分为1，小于阈值的部分为0。然后利用ma
【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述
热门推荐
向往有那么一天梦幻的步态识别落地，开花❀！
09-02 1万+
​ 模型部署优化这个方向其实比较宽泛。从模型完成训练，到最终将模型部署到实际硬件上，整个流程中会涉及到很多不同层面的工作，每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小，提高推理速度等，使得模型能够成功部署在各个硬件之中去并且实时有效的运作。 ​

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值