YOLOx的稀疏化训练、剪枝、微调

已于 2023-12-14 03:19:12 修改
阅读量678 收藏 6
点赞数 2
分类专栏： 模型部署 文章标签： 剪枝 深度学习 神经网络
于 2023-04-25 20:32:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41920323/article/details/130372866
版权

本文在b站up主Bubbliiiing的代码上进行稀疏化训练、剪枝并微调训练。
1.添加feature可视化功能
1.1 通道可视化
在tools/Net_Vision.py为可视化代码实现。可以通过在网络层导入NV函数，实现通道可视化。
在这里插入图片描述

如下：

features = [out_features[f] for f in self.in_features]
[x2, x1, x0] = features  # shape is (batch_size,channels,w,h)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
ghx3110
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
剪枝基础与实战(4):稀疏训练及剪枝效果展示
@bangbang的博客
08-21 877
稀疏训练是通过在损失loss中增加BN的γ参数的L1正则，从而让绝大多数通道对应的γ值趋近与0LL1​γLwλ∣γ∣。
基于pytorch的yolo稀疏训练与模型剪枝
踟蹰横渡口,彳亍上滩舟。
03-05 2044
基于pytorch的yolo稀疏训练与模型剪枝 数据集+代码下载地址：下载地址 参数数量 模型体积 Flops 前向推断耗时（2070 TI） mAP Baseline (416) 61.5M 246.4MB 32.8B 15.0 ms 0.7692 Prune (416) 10.9M 43.6MB 9.6B 7.7 ms 0.7722 Finetune (416) 同上 同上 同上 同上 0.7750 加入稀疏正则项之后，mAP 反而更高了（在实验过程中发现，其实 mAP上
YOLOv5目标检测之网络剪枝实战
05-09
PyTorch版的YOLOv5是一个非常流行的基于深度学习的目标检测器。本课程使用Network Slimming剪枝方法对YOLOv5进行网络剪枝，使其更加轻量。Network Slimming是一种经典的实用模型压缩方法，可实现高效的通道级别的结构化剪枝。该方法通过利用BN（Batch Normalization）层中缩放因子较小的值来剪裁的相应通道，达到精简网络的目的。步骤包括：增加稀疏正则化的训练、网络模型剪枝、剪枝后的网络模型微调。本课程在YOLOv5 v6.1版本代码的基础上增加Network Slimming剪枝方法，在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程，并讲解原代码针对剪枝的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：网络剪枝的基础知识、Network Slimming剪枝原理。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、正常训练自己的数据集、稀疏化训练、网络模型剪枝、剪枝后的网络模型微调。代码讲解篇包括：剪枝代码修改说明和具体修改的代码讲解。
ADMM深度模型稀疏化训练
AI Flash
12-19 2205
基本原理 参考论文：https://arxiv.org/abs/1804.03294 GitHub：https://github.com/microsoft/nni/blob/master/nni/algorithms/compression/pytorch/pruning/admm_pruner.py 组合优化问题 基本的优化问题： 引入辅助变量、对偶变量，构造ADMM正则化约束： 交替方向优化求解 固定Z与U，通过SGD优化求解得到： 固定W，更新得到Z与U： ..
YOLOv5s剪枝+量化+安卓部署学习记录───模型剪枝
zswzswzsw233的博客
06-09 2857
使用yolov5s体验一下模型剪枝、量化和安卓部署过程
模型部署系列：10x速度提升，Yolov8检测模型稀疏化——CPU上超500FPS
AIGC | 智能洞察，创造未来
12-14 1434
专注于让 YOLOv8 等深度学习模型在 CPU 上快速运行，DeepSparse在 FP32 下的速度快 4 倍，在 INT8 下的速度快 10 倍。
算法剪枝-基于Pytorch的YOLOX目标检测算法剪枝pruning-算法轻量化-附项目源码-优质项目实战.zip
最新发布
05-09
然后，可以使用这些策略对预训练的YOLOX模型进行剪枝，调整模型的复杂度，以达到预期的轻量化效果。 项目实战部分，你将学习如何利用提供的源码搭建环境，加载预训练模型，执行剪枝操作，并在验证集上评估剪枝后的...
VGGNet剪枝实战：使用VGGNet训练、稀疏训练、剪枝、微调等，剪枝出只有3M的模型
08-07
在BN层网络中加入稀疏因子，训练使得BN层稀疏化，对稀疏训练的后的模型中所有BN层权重进行统计排序，获取指定保留BN层数量即取得排序后权重阈值thres。遍历模型中的BN层权重，制作各层mask（权重>thres值为1，权重值...
基于pytorch的模型稀疏训练与模型剪枝示例
03-05
为了解决这一问题，研究者们提出了模型稀疏训练（Sparse Training）和模型剪枝（Pruning）等技术。本示例将深入探讨如何在PyTorch框架下实现这两个过程。 首先，让我们了解模型稀疏训练。模型稀疏训练是指在训练...
实现对YOLOX的剪枝操作，添加了卷积层和BN层融合推理，添加中间层可视化功能，可实现预测和训练日志保存.zip
01-07
环境 pytorch 1.7 loguru 0.5.3 NVIDIA 1650 4G intel i5-9th torch-pruning 0.2.7 安装包 pip install torch_pruning
YOLOv5-6.1剪枝实战
m0_58846303的博客
12-05 1514
为降低网络模型的计算量、减小计算和训练时间、以及降低内存占用，特别是在性能较差的网络设备上的应用，出现了一系列模型简化方法。网络剪枝、量化、低秩分解、知识蒸馏等是其中的代表。本文将重点介绍网络剪枝这一简化方法。
剪枝基础与实战(3): 模型剪枝和稀疏化训练流程
@bangbang的博客
08-20 859
对网络进行稀释训练，需要设置$ \lambda$稀疏因子(平衡正则项损失的权重)，从而控制网络的稀释化效果。论文中对VGGNet中，在不同程度的稀疏正则化(由参数λ \lambdaλ控制)下，训练的VGGNet中缩放因子(scale factor)的分布，这一步的训练就是非常普通的训练过程，为了获得原模型的训练权重，可以拿来作为一个对比的基准，也可以拿来进行稀疏训练。考虑一个问题，深度学习模型里面的卷积层出来之后的特征有非常多，这里面会不会。，Pool2d 的层只用来做下采样，没有可学习的参数，不用处理。
深度学习技巧应用11-模型训练中稀疏化参数与稀疏损失函数的应用
weixin_42878111的博客
05-01 1625
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用11-模型训练中稀疏化参数与稀疏损失函数的应用，在训练神经网络的过程中，将稀疏损失加入到常规损失函数的作用主要是降低模型复杂性和提高模型泛化能力。通过引入稀疏性约束，优化算法会在减小常规损失的同时，尽量让参数稀疏化。
YOLOR剪枝【附代码】
z240626191s的博客
09-19 2312
本文中的剪枝采用的是通道剪枝，为离线剪枝的一种，也就是可以直接对已经训练好的模型进行剪枝后再微调训练，不用稀疏训练【也就是不用边训练边剪枝】。 剪枝参考的paper：Pruning Filters for Efficient ConvNets。 相关剪枝原理部分可以参考我另一篇文章。本文可以实现单独卷积的剪枝以及某些卷积层的剪枝，并可对剪枝后的模型微调训练。
YOLO3模型剪枝系列（二）稀疏训练
ltshan139的专栏
12-07 9270
前言 平台环境搭建（主要是torch的安装）好后，就可以对已经训练出来的yolov3模型进行稀疏训练。但是这里面会遇到一些代码问题，特记录如下。 稀疏训练脚本运行 对以后的模型进行稀疏训练的命令如下： python3 train.py --cfg /xxx/xxx.cfg --data /xxx/xxx.data --weights /xxx/yolov3_xxx_2019_11_fi...
YOLOV5通道剪枝【附代码】
z240626191s的博客
09-29 1万+
之前的博客中已经实现了YOLOv4、YOLOR、YOLOX的剪枝，经过了几天的辛勤努力，终于实现了YOLOv5的剪枝。
YOLOV8-gradcam 热力图可视化 即插即用 不需要对源码做任何修改!
热门推荐
qq_37706472的博客
01-17 2万+
yolov8-gradcam热力图可视化，即插即用，不需要对源码做任何修改。代码仓库还有yolov5和yolov7的热力图可视化代码，也是不需要对源码做任何修改喔！
yolox 训练
DMLong_x的博客
08-13 2019
训练自定义数据。 介绍如何使用 YOLOX 训练您自己的自定义数据。 我们举一个在 VOC 数据集上微调 YOLOX-S 模型的例子，以给出更清晰的指导。 0. 开始之前 克隆这个 repo 并按照 README 安装 YOLOX。 1. 创建自己的数据集 Step 1 首先准备您自己的带有图像和标签的数据集。 对于标记图像，您可以使用 Labelme 或 CVAT 等工具。 按照VOC的数据标注格式标注数据,数据目录如下： VOCdevkit └── VOC2028 ├── Annotatio
yolov5稀疏训练剪枝微调
07-14
Yolov5稀疏训练剪枝微调是一种用于目标检测模型Yolov5的优化方法。稀疏训练是指在训练过程中，将模型中的一些权重设置为0，从而使得模型变得更加稀疏。剪枝是指在训练完成后，进一步去除那些对模型性能影响较小的权重，从而减小模型的大小和计算量。微调是指在剪枝后，对模型进行重新训练，以恢复剪枝过程中可能损失的性能。 具体操作上，稀疏训练可以通过对权重施加稀疏化惩罚项来实现。在训练过程中，对权重进行限制，使得一些权重趋向于0。这样，训练后的模型中将存在一些稀疏区域，即权重为0的区域。 剪枝过程中，可以使用一些剪枝算法，如L1-norm剪枝或者结构化剪枝等。这些算法可以根据权重的重要性进行排序，并去除那些对模型影响较小的权重，从而减小模型的大小。 剪枝后，模型可能会丧失一部分性能。因此，需要进行微调来恢复模型的性能。微调过程中，可以使用带有稀疏性惩罚的损失函数，以保持模型的稀疏性。 总的来说，Yolov5稀疏训练剪枝微调是一种优化目标检测模型Yolov5的方法，通过稀疏训练和剪枝来减小模型的大小和计算量，并通过微调来恢复模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ghx3110

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值