YOLOv5：对yolov5n模型进一步剪枝压缩

最新推荐文章于 2024-04-25 18:21:15 发布
最新推荐文章于 2024-04-25 18:21:15 发布
阅读量1.4k 收藏 12
点赞数 3
分类专栏： YOLO系列 文章标签： YOLO 剪枝 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FriendshipTang/article/details/132712208
版权

YOLOv5：对yolov5n模型进一步剪枝压缩

前言

前提条件

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
  • PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。
  • YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。它是一个在COCO数据集上预训练的物体检测架构和模型系列，代表了Ultralytics对未来视觉AI方法的开源研究，其中包含了经过数千小时的研究和开发而形成的经验教训和最佳实践。
  • 剪枝是一种通过去除网络中冗余的channels,filters, neurons, or layers以得到一个更轻量级的网络，同时不影响性能的方法。

具体步骤

修改yolov5n.yaml配置文件

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

 - nc: 8 代表数据集中的类别数目。
 - depth_multiple: 0.33
 	- 用来控制模型的深度，仅在number≠1时启用。
 	- 如第一个C3层的参数设置为[-1, 3, C3, [128]]，其中number=3，表示在yolov5s中含有 3 × 0.33 ≈ 1个C3。
 - width_multiple: 0.50
 	- 用来控制模型的宽度，主要作用于args中的channel_out。
 	- 如第一个Conv层，输出通道数channel_out=64，那么在yolov5s中，会将卷积过程中的卷积核设置为 64 × 0.50 = 32，所以会输出 32 通道的特征图。

将

depth_multiple: 0.33  # model depth multiple
width_multiple: 0.25  # layer channel multiple

改为

depth_multiple: 0.16  # model depth multiple
width_multiple: 0.125  # layer channel multiple

即可达到减少卷积层数的目的。
在这里插入图片描述

单通道数据（黑白图片）

  • 如果数据集是单通道数据，即黑白图片数据集，还可以修改训练时输入的通道数（yolov5默认输入通道数ch=3,我们可以修改ch=1），减少训练参数。
  • 如果是彩色图片数据集，可跳过此部分的内容。

修改models/yolo.py文件

  1. 在
        if m in {
                Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,
                BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, nn.ConvTranspose2d, DWConvTranspose2d, C3x}:
            c1, c2 = ch[f], args[0]
            if c2 != no:  # if not output
                c2 = make_divisible(c2 * gw, 8)

添加:

        if m in (Conv, GhostConv, Bottleneck, GhostBottleneck, SPP, SPPF, DWConv, MixConv2d, Focus, CrossConv,
                 BottleneckCSP, C3, C3TR, C3SPP, C3Ghost, nn.ConvTranspose2d, DWConvTranspose2d, C3x):
            c1, c2 = ch[f], args[0]
            # 添加的内容
            if i == 0: # 第一层输入，为单通道图片
                c1 = 1
            if c2 != no:  # if not output
                c2 = make_divisible(c2 * gw, 8)

在这里插入图片描述

  1. 在
        # Define model
        ch = self.yaml['ch'] = self.yaml.get('ch', ch)  # input channels

添加:

        # Define model
        ch = self.yaml['ch'] = self.yaml.get('ch', ch)  # input channels

        # 添加的内容
        self.yaml['ch'] = 1
        ch = self.yaml['ch']

在这里插入图片描述

修改train.py文件

  1. 将
model = Model(cfg or ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # create

改为

# 修改的内容
# model = Model(cfg or ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # create
model = Model(cfg or ckpt['model'].yaml, ch=1, nc=nc, anchors=hyp.get('anchors')).to(device)  # create

在这里插入图片描述

  1. 将
model = Model(cfg, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # create

改为

# 修改的内容
# model = Model(cfg, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device)  # create
model = Model(cfg, ch=1, nc=nc, anchors=hyp.get('anchors')).to(device)  # create

在这里插入图片描述

  1. 在
for i, (imgs, targets, paths, _) in pbar:  # batch -------------------------------------------------------------
            callbacks.run('on_train_batch_start')
            ni = i + nb * epoch  # number integrated batches (since train start)
            imgs = imgs.to(device, non_blocking=True).float() / 255  # uint8 to float32, 0-255 to 0.0-1.0

            # Warmup
            if ni <= nw:
                xi = [0, nw]  # x interp
                # compute_loss.gr = np.interp(ni, xi, [0.0, 1.0])  # iou loss ratio (obj_loss = 1.0 or iou)
                accumulate = max(1, np.interp(ni, xi, [1, nbs / batch_size]).round())
                for j, x in enumerate(optimizer.param_groups):
                    # bias lr falls from 0.1 to lr0, all other lrs rise from 0.0 to lr0
                    x['lr'] = np.interp(ni, xi, [hyp['warmup_bias_lr'] if j == 0 else 0.0, x['initial_lr'] * lf(epoch)])
                    if 'momentum' in x:
                        x['momentum'] = np.interp(ni, xi, [hyp['warmup_momentum'], hyp['momentum']])

添加:

for i, (imgs, targets, paths, _) in pbar:  # batch -------------------------------------------------------------
            callbacks.run('on_train_batch_start')
            ni = i + nb * epoch  # number integrated batches (since train start)
            # imgs = imgs.to(device, non_blocking=True).float() / 255  # uint8 to float32, 0-255 to 0.0-1.0

            # 添加的内容，目的是将训练集的图片变为单通道图片(黑白图片)
            imgs = imgs[:, 0, :, :].unsqueeze(1).to(device, non_blocking=True).float() / 255 

            # Warmup
            if ni <= nw:
                xi = [0, nw]  # x interp
                # compute_loss.gr = np.interp(ni, xi, [0.0, 1.0])  # iou loss ratio (obj_loss = 1.0 or iou)
                accumulate = max(1, np.interp(ni, xi, [1, nbs / batch_size]).round())
                for j, x in enumerate(optimizer.param_groups):
                    # bias lr falls from 0.1 to lr0, all other lrs rise from 0.0 to lr0
                    x['lr'] = np.interp(ni, xi, [hyp['warmup_bias_lr'] if j == 0 else 0.0, x['initial_lr'] * lf(epoch)])
                    if 'momentum' in x:
                        x['momentum'] = np.interp(ni, xi, [hyp['warmup_momentum'], hyp['momentum']])

在这里插入图片描述

剪枝后模型大小

  • 原来的yolo5n模型大小为3.5m，剪枝训练后的yolo5n模型大小为2.6m。

参考

[1] https://github.com/ultralytics/yolov5

FriendshipT
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
yolov5 剪枝、蒸馏、压缩、量化
shiter编写程序的艺术
03-15 1987
考察神经网络时期重要的激活函数sigmoid和tanh，它们有一个特点，即输入值较大或者较小的时候，其导数变得很小，而在训练阶段（详见1.2.3节），需要求取多个导数值，并将每层得到的导数值相乘，这样一旦层数增加，多个很小的导数值相乘，结果便趋于零，即所谓梯度消失问题[插图]，这将会导致靠近输入层的隐含层的学习效果也趋于零。
Yolov5训练权重+官方yolov5n和yolov5s+可见光单个人体识别权重+.pt文件
03-10
1.包含github上的5n和5s两个快速训练权重以及经过训练后的单个人体目标的最佳识别结果 2.训练环境：win10 3.迭代次数：300+ 4.精确率和召回率均收敛
使用【YOLO v5】yolov5训练自己的数据集，包括Anaconda、pycharm环境配置（超详细、总结全网）
最新发布
manxinhuanxi__的博客
04-25 1818
总结全网，手把手完整无坑版教程。从安装yolov5，到详细说明如何训练自己的数据集，训练时间、出现的多种问题说明、训练可视化、检测效果。以及最后讲解各种文件
YOLOv5目标检测之网络剪枝实战
05-09
PyTorch版的YOLOv5是一个非常流行的基于深度学习的目标检测器。本课程使用Network Slimming剪枝方法对YOLOv5进行网络剪枝，使其更加轻量。Network Slimming是一种经典的实用模型压缩方法，可实现高效的通道级别的结构化剪枝。该方法通过利用BN（Batch Normalization）层中缩放因子较小的值来剪裁的相应通道，达到精简网络的目的。步骤包括：增加稀疏正则化的训练、网络模型剪枝、剪枝后的网络模型微调。本课程在YOLOv5 v6.1版本代码的基础上增加Network Slimming剪枝方法，在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程，并讲解原代码针对剪枝的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：网络剪枝的基础知识、Network Slimming剪枝原理。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、正常训练自己的数据集、稀疏化训练、网络模型剪枝、剪枝后的网络模型微调。代码讲解篇包括：剪枝代码修改说明和具体修改的代码讲解。
深度学习模型（yolov5）压缩
qq_55068938的博客
12-01 2092
当我们利用深度学习训练出我们的模型之后，下一步会做什么呢？无疑是去测试我们的模型，精度达到标准既可发布上线，那发布之后我们会发现的问题是->推理时间慢，那我们该怎么做呢？更改网络为轻量级，如YOLOv5s、YOLOv5n通过技术手段进行模型加速，如tensorrt，openvino等资金雄厚的情况下，可以考虑使用更高算力的卡模型压缩接下来，就给大家介绍下发现的一个用于模型压缩的工具–>PaddleSlim
yoloV5模型中，x,s,n,m,l分别有什么不同
热门推荐
zootopia20169172的博客
03-21 3万+
YOLOv5 的不同变体（如 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 和 YOLOv5n）表示不同大小和复杂性的模型。这些变体在速度和准确度之间提供了不同的权衡，以适应不同的计算能力和实时性需求。适用于需要极高准确度的任务，且具有强大计算能力（如 GPU）的设备。YOLOv5n 在保持较快速度的同时，提供适用于边缘设备的准确度。YOLOv5m 在速度和准确度之间提供了较好的平衡，适用于具有一定计算能力的设备。在选择合适的模型时，主要考虑设备的计算能力和任务对准确度的要求。
YOLOV5-模型轻量化的一些常见方法
m0_58508552的博客
02-18 1万+
知识蒸馏是一种有效的模型压缩技术，它可以通过将一个大的模型的知识迁移到一个小的模型中，来减少模型的大小和计算量。具体来说，可以将一个大的Yolov5模型的知识迁移到一个小的Yolov5模型中，从而获得一个轻量化的Yolov5模型。此外，YOLOv5还可以适应不同的设备，如CPU、GPU、TPU等，可以在不同的硬件平台上实现高效的目标检测。总的来说，YOLOv5是一个非常优秀的目标检测算法，具有更快的训练速度、更高的精度、更小的模型体积和更广泛的应用场景，可以为实际应用带来更多的价值。
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
在速度上仍然有提升空间，通过替换backbone（mobilenetv2），通道剪枝对模型进行压缩。 。本项目以工程化为基础，主要是模型端的优化。实现了常用的剪枝和蒸馏算法，并完成了一个简单的介绍和评估。将工程可用模型...
yolov8剪枝压缩模型源码.zip
04-25
使用教程请看里面的tutorial.md
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
03-13
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
YOLOv3-ADS：一种基于YOLOv3的深度学习目标检测压缩模型.pdf
08-18
最后，通过稀疏训练和剪枝率阈值设置实现了YOLOv3-ADS模型的压缩处理，减少了模型实现过程中的冗余节点、参数数量和所需存储空间。 YOLOv3-ADS模型的优点在于，它可以在保证高目标检测准确率的同时，减少模型所需...
基于YOLOv5系列【n/s/m/l】模型开发构建人体手势目标检测识别分析系统
Together_CZ的博客
06-30 3728
基于YOLOv5系列【n/s/m/l】模型开发构建人体手势目标检测识别分析系统
YOLOv5模型压缩：综述
shengweiit的博客
08-29 577
近年来，研究人员一直 致力于改进YOLO目标检测器。自其问世以来，已经推出了八个主要版本的YOLO，旨在提高其准确性和效率，尽管YOLO的明显优点使其在许多领域得到了广泛应用，但是资源有限的设备上部署他存在挑战。网络剪枝、量化和知识蒸馏三大类利用模型压缩方法的丰硕成果，如降低内存使用和推理时间等，使他们成为在硬件受限的边缘设备上部署大型神经网络时受到亲耐，甚至可以说是必要的方法。通过这样做，我们识别出在适应YOLOv5的剪枝和量化压缩中存在的差距，并提供这一领域进一步探索的未来方向。
YOLOv5 压缩剪枝
PatrickStar8的博客
03-17 451
YOLOv5 压缩剪枝
yolov5模型压缩之模型剪枝
litt1e的博客
07-16 1万+
稀疏剪枝
助力安全生产，基于轻量级yolov5n模型开发构建工地穿戴安全帽、反光衣检测识别系统
Together_CZ的博客
06-14 530
助力安全生产，基于轻量级yolov5n模型开发构建工地穿戴安全帽、反光衣检测识别系统
讲解YOLOv5模型剪枝压缩
牛肉胡辣汤
12-08 646
YOLOv5是由ultralytics团队开发的目标检测模型，具有高精度和高效率的特点。YOLOv5采用了轻量化网络结构，并利用PaddlePaddle等框架进行了实现，成为了目标检测领域的研究热点之一。模型剪枝压缩是一种通过减少模型参数、减少冗余计算、优化模型结构等手段来减小模型体积和计算复杂度的方法。在实际应用中，模型剪枝压缩能够提升模型的推理速度、减少模型的存储空间和计算资源的消耗，使得模型能够在更多的设备上进行高效部署。
YOLOv5模型压缩方法：综述
AI浩
08-04 4112
目标检测作为一个基本问题，多年来一直是一个活跃的研究领域。目标检测的主要目标是在给定的图像中从不同类别中识别和定位感兴趣的目标。目标检测是许多其他高级计算机视觉任务的基础[1]，从语义分割[2]到目标跟踪[3]到活动识别[4]。近年来，基于深度学习的方法如卷积神经网络(cnn)在目标检测任务中取得了最先进的性能。由于计算能力和前沿算法的进步，目标检测变得更加准确，从而实现了广泛的现实世界应用。与经典的目标检测方法相比，使用cnn缓解了目标检测中的特征提取、分类和定位问题[5,6,7,8,9,10]。
yolov5模型压缩心得
qq_32582681的博客
07-29 1223
模型压缩
剪枝yolov5模型的步骤
05-10
剪枝是一种优化深度学习模型的技术，可以通过减少模型中的冗余参数来提高模型的效率和推理速度。下面是剪枝 YOLOv5 模型的一般步骤： 1. 首先，使用训练数据集对原始 YOLOv5 模型进行训练，以得到一个精度较高的模型。 2. 然后，使用一些剪枝算法，如“绝对值剪枝”、“比例剪枝”等对模型进行剪枝。 3. 在剪枝过程中，可以使用一些阈值来确定哪些参数应该被删除。例如，可以删除权重值非常小的参数。 4. 剪枝后，可以使用微调技术对模型进行微调，以确保模型的精度不会过度下降。 5. 最后，对剪枝后的模型进行评估，并比较其与原始模型在精度和推理速度方面的差异。 需要注意的是，剪枝过程可能会影响模型的压缩比例和精度，因此需要进行实验来确定最佳剪枝参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值