Yolov8模型用torch_pruning剪枝

已于 2024-05-14 16:11:47 修改
阅读量2.3k 收藏 23
点赞数 24
分类专栏： YOLOv8改进有效涨点 文章标签： YOLO 剪枝 算法
于 2024-03-08 13:14:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67647321/article/details/136559097
版权
YOLOv8改进有效涨点 专栏收录该内容
116 篇文章 46 订阅 ¥159.90 ¥299.90
订阅专栏
本文介绍了如何使用Torch-Pruning对YOLOv8模型进行剪枝，重点阐述了结构化剪枝的重要性，以及DepGraph如何建模层间和层内的依赖关系，确保网络结构的完整性。还提供了遍历和剪枝分组的方法，并给出了高级剪枝器的示例，特别是针对YOLOv8的剪枝代码链接。
摘要由CSDN通过智能技术生成

目录

🚀🚀🚀订阅专栏，更新及时查看不迷路🚀🚀🚀

原理

 遍历所有分组

高级剪枝器

🚀🚀🚀订阅专栏，更新及时查看不迷路🚀🚀🚀

http://t.csdnimg.cn/sVHxv

原理

传统剪枝方法的缺陷

在复杂的网络结构中, 参数之间可能存在依赖关系, 这种依赖要求算法对这类参数进行同步移除以保证结构正确性，这就涉及到耦合参数的分组问题. 我们的工作通过提供一种自动化机制来对参数进行分组. 具体而言, Torch-Pruning使用伪输入来运 行模型, 跟踪网络计算图, 并记录层之间的依赖关系. 当剪枝某一层时, Torch-Pruning会识别所有耦合层, 并返回包含这些耦合信息的tp.Group.

一种通用的结构化剪枝框架DepGraph(Dependency Graph)，可以应用于任意类型的神经网络架构(包括CNN、RNN

了解本专栏 订阅专栏 解锁全文
kay_545
关注
专栏目录
订阅专栏
yolov5模型压缩-torch_pruning
weixin_43864650的博客
03-13 339
物理的移除参数，并自动找出层与层以及层之间的依赖，完成模型的自动裁剪。
Torch-Pruning:pytorch修剪工具包，用于结构化神经网络修剪和自动层依赖维护
04-30
火炬修剪 一个用于结构化神经网络修剪和层依赖维护的pytorch工具包 该工具将在修剪过程中自动检测并处理图层依赖性（通道一致性）。 它能够处理各种网络体系结构，例如DenseNet，ResNet和Inception。 有关更多受支持的模型，请参见 。 支持的模块：转换，线性，批处理，转置转换，PReLU 如果您有一些有趣的想法，请随时打开请求请求！ 这个怎么运作 这个包将使用假输入运行模型，并像torch.jit一样收集转发信息。 然后建立一个依赖图来描述计算图。 当通过DependencyGraph.get_pruning_plan将修剪功能（例如torch_pruning.prune_conv）应用于特定层时，此程序包将遍历整个图以修复不一致的模块（例如BN）。 如果模型中有torch.split或torch.cat ，则修剪索引将自动映射到正确的位置。 提示：请记住保存整个模
yolov8蒸馏（附代码-免费）
最新发布
W_extend的博客
08-04 1068
yolov8_蒸馏使用不妨加个关注，后续还会加入Vit（vision transformer），替换loss等提升精度的方法。
【yolov8系列】 yolov8 目标检测的模型剪枝
magic_ll的博客
12-20 7090
有框架完成的对网络所有结构都自适应剪枝是最佳的，但这里没有详细记录torch-pruning的yolov8的剪枝，是因为存在不解 对其yolov8具体的剪枝代码中操作：“比较疑惑 replace_c2f_with_c2f_v2(model.model)的梯度置为Fasle，是因为该层是解析box时的一个向量，具体的为 [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]，为了便捷的将该处理保存在模型中，所以就定义了一个卷积，所以该卷积不需要梯度、不需要反向传播，所以该层的。
模型剪枝实战|基于torch-pruning库代码对yolov8进行剪枝
a486259的博客
07-27 1143
torch-pruning库是一个开源的模型剪枝库，yolov8是是一个2年前较为先进的目标检测模型。在torch-pruning库中有很多模型剪枝案例，本文以yolov8剪枝代码为案例进行分析，代码路径在torch-pruning项目下examples\yolov8\yolov8_pruning.py。本博文基于官方代码对coco128数据进行剪枝尝试，发现剪枝后的map有6个点的下降，这主要是coco128数据不够，同时官方的剪枝代码训练参数不够灵活。最终提出了修改意见，也对代码中关键部分进行分析。
YOLOv8剪枝
m0_65203311的博客
01-25 1148
default.yaml加上st: False # (bool) whether to sparsity train, default=False。微调 ： 调用YOLO（.pt） 就可以直接改为剪掉的层。稀疏训练记得关掉amp。
yolov8剪枝实践
qq_33596242的博客
10-11 3824
yolov8剪枝实践
基于剪枝后的yolov5模型进行知识蒸馏训练python源码+项目说明.zip
04-12
基于剪枝后的yolov5模型进行知识蒸馏训练python源码+项目说明.zip 基于剪枝后的yolov5模型进行知识蒸馏训练python源码+项目说明.zip 基于剪枝后的yolov5模型进行知识蒸馏训练python源码+项目说明.zip 基于剪枝后的...
torch_pruning 剪枝
04-04
torch_pruning是一个基于PyTorch的剪枝库，用于在神经网络中剪枝不必要的连接，以减少模型的复杂度和计算量，同时提高模型的泛化能力。它提供了多种剪枝算法，包括全局剪枝、结构化剪枝、通道剪枝等，并且支持多种...
yolov8模型剪枝
W_extend的博客
08-01 1110
本文在官方yolov8.2的基础上进行剪枝。
零基础掌握yolov8剪枝
11-26
Before Pruning: MACs=129.092051 G, #Params=68.229648 M After Pruning: MACs=41.741203 G, #Params=20.787528 M
yolov8s模型进行剪枝源码
05-13
实现步骤: 1. yolov8s模型预训练 2. 模型稀疏化sparsity 3.剪枝 4. finetune 经过键枝后,finetune60个epoch达到原模型迭代52个epoch的mAP值0.78，模型的大小减少了2/5。
YOLOv8模型剪枝源码
03-27
YOLOv8模型剪枝源码
使用torch_pruning对YOLOv8进行剪枝（新版、detect、segment）
yoletPig的博客
07-24 909
在结构修剪中，**Group被定义为深度网络中最小的可移除单元。**每个组由多个相互依赖的层组成，需要同时修剪这些层以保持最终结构的完整性。然而，深度网络通常表现出层与层之间错综复杂的依赖关系，这对结构修剪提出了重大挑战。这项研究通过引入DepGraph轻松实现参数分组，并有助于修剪各种深度网络。如修剪图中高亮的神经元，我们需要对所有有连线的层都进行修剪。
YOLOv8实战-模型剪枝
m0_53815684的博客
04-25 2264
模型剪枝是用在模型的一种优化技术，旨在减少神经网络中不必要的参数，从而降低模型的复杂性和计算负载，进一步提高模型的效率。模型剪枝的流程：约束训练（constained training）、剪枝（prune）、回调训练（finetune)
YOLOv8/v10剪枝全过程
Dneccc的博客
11-16 7577
YOLOv8剪枝全过程，已跑通
剪枝与重参第七课：YOLOv8剪枝
热门推荐
周同学的博客
04-14 1万+
剪枝与重参第七课：YOLOv8剪枝
Yolov8模型剪枝，导出onnx测试图片和coco指标
qq_39128381的博客
12-13 1473
yolov8模型剪枝
torch_pruning
08-09
torch_pruning是一种用于深度学习模型压缩和优化的方法。该方法通过剪枝来减少模型中不必要的参数和连接，从而减小模型的体积和计算量。 torch_pruning提供了一种灵活的机制，可以选择性地将模型中的某些参数或连接剪枝掉。剪枝的过程通常基于模型的重要性度量，例如权重的绝对值，以及模型的效果受到的影响。通过设置合适的阈值，可以决定剪枝的程度。 剪枝后，被剪枝的参数和连接将被标记为不可训练，从而减小了模型的参数数量。这样不仅缩小了模型的存储空间和内存占用，还减少了模型的计算开销，提高了模型的推理速度。 除了减少模型的大小和计算量，torch_pruning还可以通过剪枝来改善模型的泛化能力。通过去除冗余的参数，剪枝可以提高模型的稀疏性和泛化能力，从而防止过拟合问题。 torch_pruning可以应用于各种深度学习模型，包括卷积神经网络和循环神经网络。它可以与其他训练技术如微调结合使用，进一步优化模型的性能。 总的来说，torch_pruning是一种有效的深度学习模型优化方法，可以通过剪枝来减小模型的大小和计算量，并提高模型的泛化能力。它在实际应用中有广泛的应用前景。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kay_545

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值