YOLOv5模型剪枝压缩(3)-剪枝策略2

已于 2022-09-02 10:16:41 修改
阅读量3.5k 收藏 39
点赞数 1
分类专栏： 目标检测 文章标签： 深度学习 剪枝
于 2021-06-05 00:11:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IEEE_FELLOW/article/details/117575354
版权

在之前介绍了基于Network Slim的bn层通道剪枝策略。

但是因为Bottleneck模块中shortcut的存在需要shortcut和残差有相同的size，所以没对有shortcut的Bottleneck模块进行裁剪，但是实际上，我们可以把整个残差都裁剪掉，如图：

可以将右边的残差分支两个Conv都裁剪，这样就吧整个Bottleneck都裁剪掉了，这样可以更大化地剪枝。

在之前的基础上，在训练中，我们给第二个Conv模块的BN层权重添加L1正则，使得激活逼近0.

未完待续。。

相关代码和实验结果已经更新: https://github.com/midasklr/yolov5prune

MidasKing
关注
  • 1
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
移动式yolov5修剪蒸馏 mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景 yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型转换成对应的部署版本。 基准线 数据集采用Pascal VOC，训练集= train2007 + train2012 + val2007 + val2012，测试集= test2007，基线采用mobile-yolo（imagenet预训练），如果没有特别说明，第一个模块采用重点如果特定特殊说明则可以使用替换参数，batchsize
深度学习-物体检测-YOLO实战系列（已更新V5）
04-10
购买课程后，添加小助手微信（微信号：csdnxy68）回复【唐宇迪】 进入学习群，获取唐宇迪老师答疑物体检测YOLO系列课程主要包括两大核心模块：(1),YOLO系列算法精讲，详细解读3篇论文核心知识点与整体网络架构并对其效果展开深入分析，通俗讲解YOLO架构实现原理与效果提升细节；(1),YOLO-V3项目实战，详细解读V3版本源码，通过debug模式讲解其中每一行代码，从根本掌握YOLO系列全部实现细节。整体风格通俗易懂，原理+实战实战，提供全部课程所需PPT,数据，代码。 讲师卡更优惠，可观看全部课程内容（包括后续新课）：https://edu.csdn.net/lecturer/1079
文末赠资料|YOLOv5魔幻部署攻略！剪枝与量化新进展一网打尽！
CDB3399的博客
04-25 938
目标检测的主要目标是从给定图像中识别和定位不同类别的目标。目标检测是许多其他先进计算机视觉任务的基础，包括语义分割、目标跟踪、活动识别等。近年来，基于深度学习的方法，如卷积神经网络（CNNs），在目标检测任务中取得了最先进的性能。由于计算能力和先进算法的进步，目标检测变得更加准确，为各种现实世界的应用提供了可能。与传统的目标检测方法相比，使用CNNs可以缓解目标检测中特征提取、分类和定位的问题。通常，目标检测可以通过两种方法进行，即单阶段和两阶段检测。
YOLOv5 模型结构及代码详细讲解（一）
zzqingyun的博客
12-06 1万+
每一行代表yolo网络的每一层 第一列表示该层输入特征图的来源，-1表示指的是上一层的输出当成自己的输入。 第二列，是为了控制该层重复的次数。 第三列，指的是该层的名字。 下面的一个列表是该层输入的参数，比如第一行的64代表该层输出特征图的通道数。（最后的输出还要进行相关的处理）。6代表该层用的是一个6*6大小的卷积核。第一个2表示描边2，下一个2指的是步长是2。 后面的注释我们可以看到，通过该层之后特征图的大小变成原图的1/2.
模型压缩（二）yolov5剪枝
程序猿的视界
08-11 7834
yolov5剪枝
yolov5模型压缩之模型剪枝
热门推荐
litt1e的博客
07-16 1万+
稀疏剪枝
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
03-13
该压缩包文件的主题围绕着YOLOv3在手部检测上的应用、模型的训练与测试、以及模型优化的两个重要方面——模型剪枝和模型压缩。下面将分别详细介绍这些知识点： 1. **YOLOv3手部检测**：YOLOv3使用了一种基于卷积...
YOLOv8模型剪枝源码
03-27
YOLOv8模型剪枝源码是针对YOLOv8这一目标检测模型进行优化的一种技术，旨在减小模型的计算量和内存占用，提高运行效率，同时尽可能保持模型的识别性能。剪枝是一种常见的深度学习模型压缩方法，通过移除模型中的冗余...
yolov8剪枝压缩模型源码.zip
最新发布
04-25
《YOLOv8模型剪枝压缩技术详解》 在计算机视觉领域，YOLO（You Only Look Once）系列算法因其高效和准确的实时目标检测能力而备受关注。YOLOv8作为YOLO家族的最新成员，进一步提升了检测速度和精度。然而，随着模型...
剪枝-yolov3剪枝的实现-附项目源码+剪枝教程.zip
01-26
2. **剪枝过程**：首先，对预训练的YOLOv3模型进行微调，以适应目标数据集。然后，根据选定的剪枝策略，计算权重的重要性，如基于权重绝对值的L1范数或基于梯度的Hessian矩阵。根据这些重要性指标，确定哪些权重应该...
【模型剪枝】| yolov5 模型分析及剪枝
qq_35608277的博客
09-05 2000
其中的add属性很重要，决定了是否有shortcut，其实在yolov5的backbone中的Bottleneck都是有shortcut的，在head中的Bottleneck都没有shortcut。255是3×（80+5）,对应3个anchor， 80个类别，使用bce做二分类判断是否为当前类别，4个坐标预测，1个是判断是否为目标或者背景。先通过一个Conv，然后分别进行不同kernel的pooling，3个pooling和输入拼接，在通过一个Conv。拼接层，用于拼接之前的层，例如。
YOLOv5目标检测之网络剪枝实战
05-09
PyTorch版的YOLOv5是一个非常流行的基于深度学习的目标检测器。本课程使用Network Slimming剪枝方法对YOLOv5进行网络剪枝，使其更加轻量。Network Slimming是一种经典的实用模型压缩方法，可实现高效的通道级别的结构化剪枝。该方法通过利用BN（Batch Normalization）层中缩放因子较小的值来剪裁的相应通道，达到精简网络的目的。步骤包括：增加稀疏正则化的训练、网络模型剪枝、剪枝后的网络模型微调。本课程在YOLOv5 v6.1版本代码的基础上增加Network Slimming剪枝方法，在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程，并讲解原代码针对剪枝的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：网络剪枝的基础知识、Network Slimming剪枝原理。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、正常训练自己的数据集、稀疏化训练、网络模型剪枝、剪枝后的网络模型微调。代码讲解篇包括：剪枝代码修改说明和具体修改的代码讲解。
YOLOv5中Ghostbottleneck结构shortcut=True和shortcut=False有什么区别
梦在黎明破晓时的博客
01-23 934
GhostBotleneck结构中的shodcut=True和shorcut=False的区别在干是否使用残差连接。当shorcu=True时，使用残差连接，可以以加速模型的收敛速度和提高模型的准确率，当shorcu=False时，不使用残差连接，可以减少模型的参数数量和计算量。实际上不只是Ghostbottleneck具有残差连接，在C3、C2f等具有Bottleneck模块的结构均可根据此例举一反三。残差块是深度卷积神经网络中的一种基本模块，可以有效地解决梯度消失和梯度爆炸的问题。
深度学习模型（yolov5）压缩
qq_55068938的博客
12-01 2112
当我们利用深度学习训练出我们的模型之后，下一步会做什么呢？无疑是去测试我们的模型，精度达到标准既可发布上线，那发布之后我们会发现的问题是->推理时间慢，那我们该怎么做呢？更改网络为轻量级，如YOLOv5s、YOLOv5n通过技术手段进行模型加速，如tensorrt，openvino等资金雄厚的情况下，可以考虑使用更高算力的卡模型压缩接下来，就给大家介绍下发现的一个用于模型压缩的工具–>PaddleSlim
YOLOv5：对yolov5n模型进一步剪枝压缩
FriendshipTang的博客
09-06 1497
Python、PyTorch、YOLOv5、YAML、模型剪枝、模型压缩
2021 山东大学软件学院 软件工程应用与实践--YOLOV5项目代码分析——（2）
qq_57299978的博客
12-27 427
2021SC@SDUSC
从YOLOV8检测头开始，对YOLOV8的一些理解
creeper_boom的博客
03-26 2600
网络中最常用到的卷积模块，由卷积层、Batch Normalization层、激活函数层（可替换）组成，输入参数含义为（输入通道数-c1, 输出通道-c2, 卷积核大小-k, 卷积核步长-s），其中主要参数都传入了模块中的卷积层，BN层只接收c2作为参数，激活函数层不需要参数。YOLOV8的检测头分为3个，分别以上图网络的最后3个C2f层的输出作为输入，而YOLOV8的检测头参数量大幅增加的原因是YOLOV8采用了解耦头，分为Cls分类、Box回归两个分支，并去除了Obj loss的计算分支。
【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8
笔记
11-12 5265
量化是将模型参数的存储类型从高精度存储降到低精度存储，从而达到减小模型体积大小、加快模型推理速度的效果。这个直接使用yolov5的export导出32位存储的 engine格式模型即可。
（四）yolov5--common.py文件解读
ali1174的专栏
03-25 2691
参考网址：https://blog.csdn.net/qq_38251616/article/details/124665998上次对yolov5s.yaml文件进行了解读，这次在对common.py文件解读之前，先放上yolov5s.yaml对应的网络结构图，如下图所示。对于网络结构图中的各个模块，其定义则在common.py文件中。
yolov5模型剪枝原理
11-25
yolov5模型的剪枝原理基于稀疏化和剪枝算法。首先，稀疏化技术可以将模型中的...在实际应用中，可以根据具体的需求和场景选择合适的剪枝技术，并结合模型压缩和加速技术来优化yolov5模型，从而实现更好的性能和效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值