【Pruning系列：一】Learning Efficient Convolutional Networks through Network Slimming

最新推荐文章于 2024-04-02 11:38:43 发布
最新推荐文章于 2024-04-02 11:38:43 发布
阅读量2.5k 收藏 8
点赞数 2
分类专栏： 模型压缩 文章标签： 计算机视觉 深度学习 神经网络 卷积 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31622015/article/details/103825048
版权
本文介绍了通过在网络中引入BN层的channel-wise scaling factor并应用L1正则化，来实现卷积网络的高效学习。通过使γ参数趋于0，可以有效地剪枝不重要的通道。在目标函数中，结合模型损失与γ的稀疏约束，逐步调整网络结构。实验结果显示，经过网络瘦身，γ值大部分接近0，表明大量通道被有效精简。
摘要由CSDN通过智能技术生成

NS

机构

Tsinghua,Intel

【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结

motivation

训练中的剪枝

基于BN（Batch Normalization）层的广泛使用，在BN层加入channel-wise scaling factor 并对之加L1 regularizer使之稀疏，然后裁剪scaling factor值小的部分对应权重

在这里插入图片描述

  • 用 BN 层的 y 来表示卷积核的重要程度，y 小对应卷积核重要性低

    γ 非常小时，送入下一层的值就非常小，可以直接剪掉

  • 虽然可以通过删减 γ 值接近零的channel，但是一般情况下， γ 值靠近0的channel还是属于少数
    于是作者采用 L1 or smooth-L1 惩罚 γ ，来让 γ 值倾向于0

method

目标函数：

最低0.47元/天 解锁文章
鹿鹿最可爱
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
模型剪枝-Network Slimming实战解读
qq_52053775的博客
04-28 86
项目目录文件如下：参数配置：训练，并且加入l1正则化 -sr --s 0.0001​​​​​执行剪枝操作 --model model_best.pth.tar(剪枝权重文件) --save pruned.pth.tar(保存剪枝结果) --percent 0.7(剪枝比例)再次进行微调操作 --refine pruned.pth.tar --epochs 40。
论文复现：Learning Efficient Convolutional Networks through Network Slimming
qq_28094537的博客
09-23 1167
论文复现：Learning Efficient Convolutional Networks through Network Slimming
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
热门推荐
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 762
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-CSDN博客 https://blog.csdn.net/h__ang/article/details/8...
模型压缩之Learning Efficient Convolutional Networks through Network Slimming
程序员深度学习
05-25 2126
1. 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足： 减小模型大小； 减少运行时的内存占用； 在不影响精度的同时，降低计算操作数； 利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件加速器。我们将我们的方法称为“网络瘦身”，输入模型是一个宽大的网络，但是在训练期间不重要的通道.
Learning Efficient Convolutional Networks through Network Slimming
hello_dear_you的博客
05-11 553
基于BN进行通道剪枝算法学习
ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）
I good vegetable a!
01-03 1339
前言 这篇文章是ICCV 2017的一篇模型压缩论文，题目为《 Learning Efficient Convolutional Networks through Network Slimming》。2019年有相当多的关于YOLOv3的剪枝开源工程，他们大多数的原理都来自于这篇论文，这篇论文的思想值得仔细品读。论文原文地址和Pytorch开源代码地址见附录。 基础原理 这篇文章不同于之前介绍的那...
PRUNING WITH HINTS: AN EFFICIENT FRAMEWORKFOR MODEL ACCELERATION
10-26
为了解决这个问题，研究者们提出了一系列加速模型的方法，其中剪枝（Pruning）和知识蒸馏（Knowledge Distillation）是两种主流的技术。 剪枝技术主要目标是通过删除对模型性能影响较小的参数或通道，来减小模型...
CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning
06-30
CLIP-Q是一种创新的深度学习模型压缩方法，其全称为“Compressing Large Inference models with Parallel Pruning and Quantization”。该技术结合了两种有效的模型优化策略——网络修剪（Pruning）和量子化...
重新思考网络修剪：重新思考网络修剪的价值（Pytorch）（ICLR 2019）
02-05
重新思考网络修剪的价值 该存储库在以下论文中包含用于再现结果的代码以及经过训练的ImageNet模型： 重新思考网络修剪的价值。 *，*，，，（*相等贡献）。 ICLR2019。也是NIPS 2018紧凑型深度神经网络研讨会的。...
Torch-Pruning:pytorch修剪工具包，用于结构化神经网络修剪和自动层依赖维护
04-30
当通过DependencyGraph.get_pruning_plan将修剪功能（例如torch_pruning.prune_conv）应用于特定层时，此程序包将遍历整个图以修复不一致的模块（例如BN）。 如果模型中有torch.split或torch.cat ，则修剪索引将...
Python-NetworkSlimmingPytorch
08-11
Network Slimming (Pytorch)
MetaPruning-Meta Learning for Automatic Neural Network Channel Pruning.pdf
10-28
本文提出来一个最新的元学习方法，对非常深的神经网络进行自动化通道剪枝。首先训练出一个PruningNet，对于给定目标网络的任何剪枝结构都可以生成权重参数。我们使用一个简单的随机结构采样方法来训练PruningNet，...
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
chenxiangrong的博客
11-11 4695
Learning Efficient Convolutional Networks through Network Slimming 摘要： CNN在落地中的部署，很大程度上受到其高计算成本的限制。在本文中，作者提出一种新的CNN学习方案： 1）减少模型大小； 2） 减少模型运算内存的占用； 3）在不影响准确性的同时，减少计算操作的次数。 本文提出一种简单高效的方法，具体通过网络通道的稀疏化来实现的。该方法非常适用于CNN的结构，可将训练的开销降到最低，并且生成的模型不需要特定的软硬件进行加速，部署性能更高
【模型剪枝】|Learning Efficient Convolutional Networks through Network Slimming
qq_35608277的博客
08-20 543
作用对象：BN层（和不重要的通道）作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 240
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
YOLOv8模型剪枝实战：Network Slimming网络瘦身方法
最新发布
bai666ai的博客
04-02 646
本课程在YOLOv8 v8.1版本代码的基础上增加Network Slimming剪枝方法，在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程，并讲解原代码针对剪枝的修改和增加部分。
【文章学习系列之技巧】Network Slimming
博客标题不能为空
05-24 543
这是一篇2017年发表于ICCV的一篇论文。该论文指出深度卷积神经网络的应用受到了高计算成本的阻碍，并提出一种修剪模型结构的方式用于降低这种成本，使得模型大小减小、运行内存减小且不降低精度的情况减少参数量。
Network Slimming 算法笔记
AI之路
04-17 8131
论文：Learning Efficient Convolutional Networks Through Network Slimming 链接：https://arxiv.org/abs/1708.06519 原代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/fo...
pruned-yolo: learning efficient object detector using model pruning
09-01
Pruned-YOLO是一种利用模型修剪来学习高效物体检测器的方法。 物体检测是计算机视觉领域的重要任务之一，旨在从图像中准确地识别和定位出现的物体。然而，传统的物体检测器通常具有复杂的结构和大量的参数，导致...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值