剪枝基础与实战(4):稀疏训练及剪枝效果展示

已于 2023-08-21 16:27:06 修改
阅读量1.1k 收藏
点赞数
分类专栏： 模型轻量化 文章标签： 剪枝 计算机视觉 深度学习 轻量化
于 2023-08-21 16:25:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/132396762
版权
本文介绍了深度学习模型的稀疏训练方法，通过在损失函数中加入L1正则化实现模型的稀疏化。详细阐述了训练参数、脚本以及不同阶段（BaseLine、稀疏训练、模型剪枝、微调）的训练效果。实验结果显示，经过稀疏训练和剪枝，模型大小显著减少，但精度有所下降，而经过微调后，模型精度能够恢复甚至超越BaseLine。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

稀疏训练是通过在损失loss中增加BN的 γ \gamma γ 参数的L1正则，从而让绝大多数通道对应的 γ \gamma

了解本专栏 订阅专栏 解锁全文 超级会员免费看
yolov5-6.0的稀疏化训练、结构化剪枝、微调
qq_41920323的博客
04-22 3919
YOLOv5的BN剪枝、微调
YOLOx的稀疏化训练、剪枝、微调
qq_41920323的博客
04-25 1034
yolox的稀疏化训练、剪枝、微调
剪枝与重参第二课：修剪方法和稀疏训练
周同学的博客
04-07 5788
剪枝与重参第二课笔记
基于pytorch的yolo稀疏训练与模型剪枝
踟蹰横渡口,彳亍上滩舟。
03-05 2157
基于pytorch的yolo稀疏训练与模型剪枝 数据集+代码下载地址：下载地址 参数数量 模型体积 Flops 前向推断耗时（2070 TI） mAP Baseline (416) 61.5M 246.4MB 32.8B 15.0 ms 0.7692 Prune (416) 10.9M 43.6MB 9.6B 7.7 ms 0.7722 Finetune (416) 同上 同上 同上 同上 0.7750 加入稀疏正则项之后，mAP 反而更高了（在实验过程中发现，其实 mAP上
模型优化论文笔记3----应用稀疏正则化训练和结构化剪枝进行模型压缩
qq_40616042的博客
01-10 2413
1 参考文献： [1]韦越,陈世超,朱凤华,熊刚.基于稀疏卷积神经网络的模型剪枝方法[J/OL].计算机工程:1-8[2021-01-10].https://doi.org/10.19678/j.issn.1000-3428.0059375. 2 主要思想： 通过对模型进行稀疏正则化训练，得到参数较为稀疏的深度神经网络模型，并结合卷积层和 BN层的稀疏性进行结构化剪枝，去除冗余的滤波器。 3 背景： 神经网络的过度参数化（一文献表明模型中仅5%的网络参数可预测剩余参数） 模型剪枝：剪除不重要参数，压缩模型体
剪枝基础与实战(3): 模型剪枝和稀疏化训练流程
@bangbang的博客
08-20 1056
对网络进行稀释训练，需要设置$ \lambda$稀疏因子(平衡正则项损失的权重)，从而控制网络的稀释化效果。论文中对VGGNet中，在不同程度的稀疏正则化(由参数λ \lambdaλ控制)下，训练的VGGNet中缩放因子(scale factor)的分布，这一步的训练就是非常普通的训练过程，为了获得原模型的训练权重，可以拿来作为一个对比的基准，也可以拿来进行稀疏训练。考虑一个问题，深度学习模型里面的卷积层出来之后的特征有非常多，这里面会不会。，Pool2d 的层只用来做下采样，没有可学习的参数，不用处理。
VGGNet剪枝实战：使用VGGNet训练、稀疏训练、剪枝、微调等，剪枝出只有3M的模型
08-07
在BN层网络中加入稀疏因子，训练使得BN层稀疏化，对稀疏训练的后的模型中所有BN层权重进行统计排序，获取指定保留BN层数量即取得排序后权重阈值thres。遍历模型中的BN层权重，制作各层mask（权重>thres值为1，权重值...
yolov5剪枝实战4: 正常训练和稀疏化训练
@bangbang的博客
11-21 2780
下，我们可以看到训练过程中产生的中间文件，包括result.png可以看到训练过程中的loss以及mAP指标的变化趋势，另外在weights保持best.pt和last.pt,best.pt对应我们训练出来性能最好的模型文件，last.pt对应最后一个epoch训练保存的权重文件。创建好了voc_ball.yaml 和yolov5s_ball.yaml这两个文件后，就有了针对自己数据集的配置文件了。针对自己的数据集，需要训练用的配置文件。使用yolov5s训练处的权重。使用yolov5s训练出的权重。
剪枝基础与实战(2): L1和L2正则化及BatchNormalization讲解
@bangbang的博客
08-20 1567
Pytorch 集成了很多常见数据集的API， 可以通过pytorch 来下载这些数据集，并做成模型需要的DataSet和Dataloader, 供模型训练使用。我们所说的正则化，就是在原来的 Loss Function 的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。CIFAR10 是深度学习入门最先接触到的数据集之一，主要用于图像分类任务中，该数据集总共有。各一个，进行实现，为了简单起见，将最后3层全连接层简化位1个全连接层。VGG 网络是一个很经典的卷积神经网络，网络结构比较简单。
神经网络优化的剪枝与稀疏化：减少模型复杂度
AI天才研究院
12-10 666
1.背景介绍 神经网络优化是一种重要的深度学习技术，它旨在减少模型的复杂性，从而提高模型的性能和效率。在这篇文章中，我们将讨论神经网络优化的剪枝与稀疏化技术，以及它们如何帮助减少模型复杂度。 1.1 神经网络优化的背景 神经网络优化是一种重要的深度学习技术，它旨在减少模型的复杂性，从而
神经网络稀疏训练
luoganttcc的博客
12-09 4930
对于每一个通道都引入一个缩放因子，然后和通道的输出相乘。接着联合训练网络权重和这些缩放因子，最后将小缩放因子的通道直接移除，微调剪枝后的网络，特别地，目标函数被定义为： 其中(x,y)代表训练数据和标签，是网络的可训练参数，第一项是CNN的训练损失函数。是在缩放因子上的乘法项，是两项的平衡因子。论文的实验过程中选择，即正则化，这也被广泛的应用于稀疏化。次梯度下降法作为不平滑(不可导)的L1惩罚项的优化方法，另一个建议是使用平滑的L1正则项取代L1惩罚项，尽量避免在不平滑的点使用次梯度。 这里的缩放因子就是
Yolov5 中添加Network Slimming剪枝--稀疏训练部分
m0_46093829的博客
12-06 4615
Yolov5 中添加Network Slimming剪枝--稀疏训练部分
YOLO3模型剪枝系列（二）稀疏训练
ltshan139的专栏
12-07 9449
前言 平台环境搭建（主要是torch的安装）好后，就可以对已经训练出来的yolov3模型进行稀疏训练。但是这里面会遇到一些代码问题，特记录如下。 稀疏训练脚本运行 对以后的模型进行稀疏训练的命令如下： python3 train.py --cfg /xxx/xxx.cfg --data /xxx/xxx.data --weights /xxx/yolov3_xxx_2019_11_fi...
深度学习模型中的网络剪枝与稀疏化技术
最新发布
03-04 973
综上所述，网络剪枝与稀疏化技术是深度学习模型优化的重要方向，它们对于提高模型的效率和可部署性具有重要意义。通过精心设计的剪枝策略和稀疏化方法，我们可以在不显著牺牲模型性能的情况下，显著减少模型的大小和计算需求。稀疏化可以是后训练的，即在模型训练完成后进行，也可以是训练时的，即在训练过程中直接优化稀疏性。剪枝可以是结构化的，即按照网络的层次或通道进行剪枝，也可以是非结构化的，即逐个权重或神经元地进行剪枝。3.5基于学习的稀疏化：一些先进的方法使用特殊的网络结构，如稀疏卷积网络，来直接学习稀疏的权重。
Yolov8_obb旋转框检测，模型剪枝压缩
qq_39128381的博客
08-15 4545
Yolov8_obb旋转框检测，模型剪枝压缩
【论文阅读】训练数据稀疏？我们可以做得更好！（稀疏输入×神经网络 on PyTorch）
梦想破三的奔三狗
06-25 1万+
《最后一首歌》还不错
基于Slimming的MobileNetV3半自动剪枝
benben044的专栏
01-04 2282
针对MobileNetv3，介绍了NNI工具存在的不足之处，同时详细介绍了基于Slimming理论的剪枝方法，以及剪枝过程中碰到的问题定位方法。
深度学习中模型训练效果不好的原因以及防止过拟合的方法
热门推荐
Oliver_jiang的博客
07-19 2万+
深度学习中模型训练效果不好的原因1. 是否选择合适的损失函数2. 是否选择了合适的Mini-batch size3. 是否选择了合适的激活函数4. 是否选择了合适的学习率5. 优化算法是否使用了动量（Momentum）6. 其他原因 当我们用自定义的模型去训练某个数据集时， 经常会出现效果不佳的情况：精度太低、损失降不下去、泛性太差等情况。可能的原因有： 数据集样本太少，多样性不够； 网络模型是否添加了BN层，损失函数和激活函数的选取； 优化器的选取，学习率的设置等； 这里暂时不考虑数据集的原因，我们首
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值