【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结

最新推荐文章于 2024-07-27 12:25:33 发布
最新推荐文章于 2024-07-27 12:25:33 发布
阅读量2.2k 收藏 17
点赞数 1
分类专栏： 模型压缩 文章标签： pruning network ns yolo yolov3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31622015/article/details/105617711
版权
本文介绍了YOLOv3模型的剪枝实践，包括基于Network Slimming的channel pruning和layer pruning，通过剪枝实现模型瘦身80%、速度提升100%，同时保持精度。介绍了不同剪枝策略的特点，如Residual结构的优化，并提供了相关项目的GitHub链接供参考。此外，还提及了适用于实时UAV应用的SlimYOLOv3模型。
摘要由CSDN通过智能技术生成

几个基于YOLO的剪枝pytorch项目

YOLOv3-model-pruning

https://github.com/Lam1360/YOLOv3-model-pruning

YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变

Introduction

剪枝算法步骤

以下只是算法的大概步骤，具体实现过程中还要做 s 参数的尝试或者需要进行迭代式剪枝等。

  • 进行稀疏化训练
  • 基于 test_prune.py 文件进行剪枝，得到剪枝后的模型
  • 对剪枝后的模型进行微调

Results

- 参数数量 模型体积 Flops 前向推断耗时（2070 TI） mAP
Baseline (416) 61.5M 246.4MB 32.8B 15.0 ms 0.7692
最低0.47元/天 解锁文章
鹿鹿最可爱
关注
专栏目录
深度神经网络模型修剪：特经典论文回顾与综述
安静到无声
06-23 840
题目 Pruning Filters for Efficient ConvNets 作者与单位 美国马里兰大学 Hao Li 方法和要解决的问题 过滤器剪枝(基于feater map通道的剪枝）基于幅度的权重修剪减少了来自完全连接层的大量参数，并且由于修剪网络中的不规则稀疏性，可能不能充分降低卷积层中的计算成本。 idea 1.对每层的滤波器进行取范数并对比大小，删除其排名靠后的滤波器。主要还考虑了对应特
【Pruning系列：一】Learning Efficient Convolutional Networks through Network Slimming
鹿鹿的博客
01-03 2562
NS 机构 Tsinghua,Intel motivation 训练中的剪枝 基于BN（Batch Normalization）层的广泛使用，在BN层加入channel-wise scaling factor 并对之加L1 regularizer使之稀疏，然后裁剪scaling factor值小的部分对应权重 用 BN 层的 y 来表示卷积核的重要程度，y 小对应卷积核重要性低 γ 非常小时...
【模型剪枝】|Learning Efficient Convolutional Networks through Network Slimming
qq_35608277的博客
08-20 552
作用对象：BN层（和不重要的通道）作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。
模型剪枝实战|基于torch-pruning库代码对yolov8进行剪枝
最新发布
a486259的博客
07-27 1206
torch-pruning库是一个开源的模型剪枝库，yolov8是是一个2年前较为先进的目标检测模型。在torch-pruning库中有很多模型剪枝案例，本文以yolov8剪枝代码为案例进行分析，代码路径在torch-pruning项目下examples\yolov8\yolov8_pruning.py。本博文基于官方代码对coco128数据进行剪枝尝试，发现剪枝后的map有6个点的下降，这主要是coco128数据不够，同时官方的剪枝代码训练参数不够灵活。最终提出了修改意见，也对代码中关键部分进行分析。
learning Efficient Convolutional Networks through Network Slimming
椰子奶糖的博客
04-30 743
learning Efficient Convolutional Networks through Network Slimming 文章目录learning Efficient Convolutional Networks through Network Slimming总结 总结
模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
热门推荐
人工智能技术学习与分享
12-13 1万+
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，骨骼清奇~~ 创新点： 1. 利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pru
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
哇哇的博客
12-19 527
目录概述方法实验及指标实验细节实验指标 概述 CNN 模型在许多方面都取得了进展，但要将一些高精度 CNN 模型应用到实际场景中，还是面临一些问题： 模型大小：模型参数和结构需要保存在硬盘上，对于一些嵌入式系统来说是一个不小的负担； 运行时内存需求：推理时产生的中间变量需要地方存储； 计算操作次数：一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟，这使得应用于实时应用不现实。 这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出，可以对 BN 层的尺度因子使用 L1 正则化，将 B
网络模型剪枝-论文阅读-Network Slimming
AManFromEarth的博客
06-24 1740
论文地址：Learning Efficient Convolutional Networks through Network Slimming 这篇论文是在2017年的ICCV发表的，可以看做是之前讲过的channel pruning方法的变种，但是更加简单有效。 简单来说，这篇论文的剪枝方式是，给每个通道加上权重，在训练的过程中使用L1正则化对通道权重进行稀疏化，然后对于最终通道权重低于阈值的通道剪枝，最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga
micronet:micronet，一个模型压缩和部署库。 压缩
05-11
micronet "目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效...针对特征(A)二值量化的BN融合(训练量化后，BN参数 —>
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 780
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-CSDN博客 https://blog.csdn.net/h__ang/article/details/8...
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1194
转载自:https://blog.csdn.net/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 303
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
【论文阅读】Learning Efficient Convolutional Networks through Network Slimming
luolinll1212的专栏
01-20 2404
1 论文地址
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
weixin_50862344的博客
02-04 2061
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
Learning Efficient Convolutional Networks through Network Slimming
hello_dear_you的博客
05-11 593
基于BN进行通道剪枝算法学习
模型剪枝-ICCV2017-Learning Efficient Convolutional Networks through Network Slimming
weixin_44214375的博客
11-28 1568
方案目标 1）减小模型大小; 2）减少运行时内存占用; 3）在不影响准确率的情况下降低计算操作的数量。 方案实现 通过在网络中进行通道层次稀疏来实现 CNN部署限制 1）模型大小：CNN的强大表现力来自其数百万可训练参数。这些参数以及网络结构信息需要存储在磁盘上并在推理期间加载到内存中。例如，存储一个ImageNet上训练的典型CNN会占用超过300MB的空间，这对嵌入式设备来说是一个很大的资源负担。 2）运行时内存（占用情况）：在推理期间，即使批量大小为1，CNN的中间激活/响应占用的内存空间甚至可以比存
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
模型剪枝：Learning Efficient Convolutional Networks through Network Slimming
微风❤水墨
02-25 255
论文：https://arxiv.org/abs/1708.06519 代码：https://github.com/liuzhuang13/slimming 简介 由于深度学习模型大小以及计算资源的限制，导致模型部署时受到了很大阻碍，为了解决这个问题，就形成了一个新的领域：模型压缩。常见的方法有：量化、剪枝、蒸馏等。 本文便是“剪枝”当中一篇非常经典且有效果的一篇文章。 相关工作 图片来自：https://www.codenong.com/cs106948573/ 图片来自：https:
代码pruning convolutional neural networks for resource efficient inference
08-14
代码修剪卷积神经网络用于资源高效推理，是一种优化模型的方法，旨在减小模型的尺寸和计算量，从而实现在资源受限的设备上进行高效推理。 修剪是指通过删除模型中的一些参数或神经元来减小模型的复杂性。在卷积神经网络中，修剪通常包括删除一些卷积核或通道，以及减少连接权重的数量。这可以通过一些算法和技术来实现，例如剪枝算法、稀疏矩阵和低秩近似等。 修剪卷积神经网络可以带来多个好处。首先，它可以大大减小模型的尺寸，从而降低了存储模型所需的内存空间。其次，修剪可以减少模型的计算量，使得模型可以更快地进行推理。这对移动设备和嵌入式系统等资源受限的设备非常重要。此外，修剪还可以提高模型的泛化能力，减少过拟合的风险。 对于修剪卷积神经网络的代码实现，一般分为两个步骤。首先，需要训练一个初始的卷积神经网络模型。然后，通过一些修剪算法选择要修剪的参数或神经元，并将其从模型中移除。修剪的目标可以是按照权重大小或梯度大小进行选择。 在实际编程中，代码可以使用一些深度学习框架（如PyTorch或TensorFlow）来实现。这些框架通常提供了一些修剪工具和函数，以便进行参数和神经元的修剪。开发者需要根据具体的应用场景和需求来选择合适的修剪策略，并根据框架的API来实现修剪过程。 总之，代码修剪卷积神经网络是一种资源高效推理的方法，通过减小模型的尺寸和计算量，提高模型的效率和性能。这对于在资源受限的设备上进行深度学习推理任务非常有意义。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值