【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结

最新推荐文章于 2023-05-11 20:59:30 发布
最新推荐文章于 2023-05-11 20:59:30 发布
阅读量2.2k 收藏 17
点赞数 1
分类专栏： 模型压缩 文章标签： pruning network ns yolo yolov3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31622015/article/details/105617711
版权
本文介绍了YOLOv3模型的剪枝实践，包括基于Network Slimming的channel pruning和layer pruning，通过剪枝实现模型瘦身80%、速度提升100%，同时保持精度。介绍了不同剪枝策略的特点，如Residual结构的优化，并提供了相关项目的GitHub链接供参考。此外，还提及了适用于实时UAV应用的SlimYOLOv3模型。
摘要由CSDN通过智能技术生成

几个基于YOLO的剪枝pytorch项目

YOLOv3-model-pruning

https://github.com/Lam1360/YOLOv3-model-pruning

YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变

Introduction

剪枝算法步骤

以下只是算法的大概步骤，具体实现过程中还要做 s 参数的尝试或者需要进行迭代式剪枝等。

  • 进行稀疏化训练
  • 基于 test_prune.py 文件进行剪枝，得到剪枝后的模型
  • 对剪枝后的模型进行微调

Results

- 参数数量 模型体积 Flops 前向推断耗时（2070 TI） mAP
Baseline (416) 61.5M 246.4MB 32.8B 15.0 ms 0.7692
最低0.47元/天 解锁文章
鹿鹿最可爱
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Pruning系列：一】Learning Efficient Convolutional Networks through Network Slimming
鹿鹿的博客
01-03 2534
NS 机构 Tsinghua,Intel motivation 训练中的剪枝 基于BN（Batch Normalization）层的广泛使用，在BN层加入channel-wise scaling factor 并对之加L1 regularizer使之稀疏，然后裁剪scaling factor值小的部分对应权重 用 BN 层的 y 来表示卷积核的重要程度，y 小对应卷积核重要性低 γ 非常小时...
Torch-Pruning:pytorch修剪工具包，用于结构化神经网络修剪和自动层依赖维护
04-30
一个用于结构化神经网络修剪和层依赖维护的pytorch工具包 该工具将在修剪过程中自动检测并处理图层依赖性（通道一致性）。 它能够处理各种网络体系结构，例如DenseNet，ResNet和Inception。 有关更多受支持的模型，...
【模型剪枝】|Learning Efficient Convolutional Networks through Network Slimming
qq_35608277的博客
08-20 547
作用对象：BN层（和不重要的通道）作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。
learning Efficient Convolutional Networks through Network Slimming
椰子奶糖的博客
04-30 733
learning Efficient Convolutional Networks through Network Slimming 文章目录learning Efficient Convolutional Networks through Network Slimming总结 总结
模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
热门推荐
人工智能技术学习与分享
12-13 1万+
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，骨骼清奇~~ 创新点： 1. 利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pru
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
哇哇的博客
12-19 495
目录概述方法实验及指标实验细节实验指标 概述 CNN 模型在许多方面都取得了进展，但要将一些高精度 CNN 模型应用到实际场景中，还是面临一些问题： 模型大小：模型参数和结构需要保存在硬盘上，对于一些嵌入式系统来说是一个不小的负担； 运行时内存需求：推理时产生的中间变量需要地方存储； 计算操作次数：一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟，这使得应用于实时应用不现实。 这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出，可以对 BN 层的尺度因子使用 L1 正则化，将 B
重新思考网络修剪：重新思考网络修剪的价值（Pytorch）（ICLR 2019）
02-05
重新思考网络修剪的价值 该存储库在以下论文中包含用于再现结果的代码以及经过训练的ImageNet模型： 重新思考网络修剪的价值。 *，*，，，（*相等贡献）。 ICLR2019。也是NIPS 2018紧凑型深度神经网络研讨会的。...
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
最新发布
05-08
YOLOv8是该系列的最新版本，它在前代的基础上进行了优化，提升了检测速度和精度。本项目旨在利用PyTorch的量化工具PyTorch-Quantization对YOLOv8模型进行量化加速，实现模型小型化，从而在保持检测性能的同时，降低...
pruning_yolov3:YOLOv3培训修剪
05-19
YOLOv3-training-prune 环境 Python3.6, Pytorch 1.1及以上， numpy>1.16， tensorboard=1.13以上 YOLOv3 的训练参考[博客]（ ） 代码基于的 大家也可以看下这个： 正常训练（Baseline） python train.py --data ...
网络App.svelte：网络App.svelte（Pytorch）（ICCV 2017）
02-05
网络App.svelte（Pytorch） 该存储库包含以下论文的官方pytorch实现（ICCV 2017）。 ，，，，，。 原始实现：在Torch中。 该代码基于 。 我们添加了对ResNet和DenseNet的支持。 引文： @InProceedings{Liu_2017_ICCV...
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 769
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-CSDN博客 https://blog.csdn.net/h__ang/article/details/8...
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1177
转载自:https://blog.csdn.net/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 253
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
【论文阅读】Learning Efficient Convolutional Networks through Network Slimming
luolinll1212的专栏
01-20 2388
1 论文地址
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
weixin_50862344的博客
02-04 1966
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
Learning Efficient Convolutional Networks through Network Slimming
hello_dear_you的博客
05-11 560
基于BN进行通道剪枝算法学习
模型剪枝-ICCV2017-Learning Efficient Convolutional Networks through Network Slimming
weixin_44214375的博客
11-28 1558
方案目标 1）减小模型大小; 2）减少运行时内存占用; 3）在不影响准确率的情况下降低计算操作的数量。 方案实现 通过在网络中进行通道层次稀疏来实现 CNN部署限制 1）模型大小：CNN的强大表现力来自其数百万可训练参数。这些参数以及网络结构信息需要存储在磁盘上并在推理期间加载到内存中。例如，存储一个ImageNet上训练的典型CNN会占用超过300MB的空间，这对嵌入式设备来说是一个很大的资源负担。 2）运行时内存（占用情况）：在推理期间，即使批量大小为1，CNN的中间激活/响应占用的内存空间甚至可以比存
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
模型剪枝：Learning Efficient Convolutional Networks through Network Slimming
微风❤水墨
02-25 248
论文：https://arxiv.org/abs/1708.06519 代码：https://github.com/liuzhuang13/slimming 简介 由于深度学习模型大小以及计算资源的限制，导致模型部署时受到了很大阻碍，为了解决这个问题，就形成了一个新的领域：模型压缩。常见的方法有：量化、剪枝、蒸馏等。 本文便是“剪枝”当中一篇非常经典且有效果的一篇文章。 相关工作 图片来自：https://www.codenong.com/cs106948573/ 图片来自：https:
代码pruning convolutional neural networks for resource efficient inference
08-14
在实际编程中，代码可以使用一些深度学习框架（如PyTorch或TensorFlow）来实现。这些框架通常提供了一些修剪工具和函数，以便进行参数和神经元的修剪。开发者需要根据具体的应用场景和需求来选择合适的修剪策略，并...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值