模型剪枝教程-----Hrank

已于 2022-09-24 00:20:57 修改
阅读量1.4k 收藏 17
点赞数 1
分类专栏： 深度学习 网络剪枝 模型压缩
于 2022-09-24 00:09:22 首次发布
本文为博主原创文章，未经博主允许不得转载，若有问题，欢迎指正。
本文链接：https://blog.csdn.net/weixin_49457347/article/details/125563197
版权
本文详细介绍了深度学习模型剪枝的原理和操作教程，包括《剪枝教程》的内容概览、策略、操作步骤以及针对VGG、ResNet等模型的剪枝率实验记录。通过删除不重要的权重，实现模型压缩，提高在资源有限设备上的运行效率。此外，还解答了关于数据集、网络结构和剪枝过程中的一些常见问题。
摘要由CSDN通过智能技术生成

《剪枝教程》 {\color{Red}《剪枝教程》} 《剪枝教程》

2022年9月23日 汇报人 孙琪茗


（本文写于一年前，2021年9月2日，放在角落没留意😅）

1. Background

目前主流的深度网络都非常大，如Imagenet上效果较好的Alexnet、VGGnet、Resnet和检测任务上好用的yolo骨干网络darknet53，模型都达百兆。同时这种大模型下推理一张图片的计算量高达数十亿，因而很难在资源有限的嵌入式端上实时地运行，这时候就需要模型压缩。要达到这个目的，我们可以分成几种研究领域，比如量化、低秩分解、知识蒸馏、剪枝等。其中最具代表性的就是剪枝。
 
简单说，模型剪枝就是将不重要的权重值删除掉，保留有用的部分。
 
Pruning最根本上主要分为两个策略:
filters/channel-based 策略
基于filter/channel的重要性度量
∎ weights/Activations (以weights或者Activation的值为度量做pruning)
基于Archetecture based 策略
∎ 找最优的子Architecture的搜索
 

2. Paper Strategy

2015年song han开启了现代深度网络剪枝的先河:
在工业界，主要考虑能带来速度提升的结构剪枝
前期剪枝主要探索的问题：
 
（1）何时剪枝

  • （DeepCompression里的迭代剪枝）

（2）通道排序

  • （L0/L1/L2/ApoZ/BN scale/TayLor/HRank）

（3）正则化

  • （SSL/Network slimming）

Archetecture based 策略:
AMC(RL)/ABCPruner/Greedy/Soft Channel
Pruning/AutoCompress/DMCP(CVPR2020)/MetaPruning(EA) (ICCV2019）

2018年AutoML和NAS的兴起，同时Rethinking the value of Neural Network Pruning横空出世，认为网络剪枝本质是一种NAS，大家把重点放在了剪枝子网络的结构探索上
 
 

3. Operation Tutorial

3.1 运行环境

  • 环境：
    Python 3.6 以上
    Pytorch 1.0以上，
    CUDA 9.0 on Ubuntu 16.04及以上版本。

  • 数据集：
    准备好的数据集放到文件夹data中，并在下文介绍的六个文件中的–dataset 参数中加入该数据集名称以供选择。

  • 预训练模型：
    准备好的模型放到models文件夹中。

  • 训练文件：
    准备好的训练文件放到放到pretrained_model文件夹中，如densenet_cifar.py。

3.2 剪枝步骤

根目录中主要会用到以下六个文件：

第一步(准备工作)—— 将预训练模型放到pretrained_model文件夹中，模型训练.py文件放在models文件夹.\VGG16prune\5-HRank-master\pretrained_model中
 
第二步——运行rank_generation.py，SVD求解每层卷积层的秩并保存到根目录下的rank_conv文件夹
在这里插入图片描述
注意：在rank_generation.py中修改np.save位置，这样保留生成的每层卷积层特征图对应的秩，默认是
np.save(‘rank_conv/’ + args.arch+‘_limit%d’%(args.limit) + ‘/rank_conv%d’ % (1) + ‘.npy’, feature_result.numpy())
在这里插入图片描述
 
第三步—Model Training，运行main.py
。
例如：python main.py
–job_dir /Lun2/great99/HRankmaster/rank_conv/resnet_56_limit128
–resume /Lun2/great99/HRank-master/pretrained_model/resnet_56.pt.pt --dataset cifar10
–arch resnet_56 --compress_rate [0.1]+[0.60]*35+[0.0]*2+[0.6]*17

 
第四步：测试剪枝后模型的精度——运行evaluate.py
在这里插入图片描述
例如：python evaluate.py
–dataset cifar10 --data_dir /Lun2/great99/HRank-master/data
–test_model_dir /Lun2/great99/HRank-master/rank_conv/resnet_56_limit128
–arch resnet_56

 
第五步：测试剪枝后的参数量和计算量——运行cal_flops_params.py
在这里插入图片描述
所以该测试程序可以针对第二步以后的模型进行快速的参数量和计算量的计算。
 

3.3 流程总结

在这里插入图片描述
示例：拿vgg16_bn为例，整个剪枝过程为：
对vgg16_bn先生成秩，再main.py训练，再测参数量，再测精度

1.python rank_generation.py --resume /Lun2/great99/HRank-master/pretrained_model/vgg_16_bn.pt --arch vgg_16_bn
 --limit 128 (秩只要生成一次！！！)
2.python main.py --job_dir /Lun2/great99/HRank-master/rank_conv/vgg_16_bn --resume /Lun2/great99/HRank-master/pretrained_model/vgg_16_bn.pt --dataset cifar10 --arch vgg_16_bn -- compress_rate [0.95]+[0.5]*6+[0.95]*6
3.python cal_flops_params.py --arch vgg_16_bn --compress_rate [0.95]+[0.5]*6+[0.95]*6
4.python evaluate.py --dataset cifar10 --test_model_dir /Lun2/great99/HRank-master/rank_conv/vgg_16_bn
--arch vgg_16_bn
  由于compress rate 可以自设,所以可根据需要剪枝。由于是对卷积的固有属性剪枝，理论上可以对任何CNN模型进行压缩。

 

解释一下，

  1. 第一步，对vgg16_bn先生成秩。
  2. 第二步，再main.py训练。
  3. 第三步，再测量参数量。
  4. 第四步，再测精度。
     

3.4 完整示例（VGG为例）

 
实例：对vgg16剪枝的完整步骤：
 
∎ Rank Generation
在这里插入图片描述
∎ Refine the accuracy by finetuning
在这里插入图片描述

∎ Get FLOPS & Params
在这里插入图片描述

∎ Evaluate Final Performance
在这里插入图片描述

4. 已调好的参数

4.1 建议剪枝率

建议剪枝率和对应模型性能、大小：（压缩比最佳参数，精度略低）
在这里插入图片描述

（若对精度下降要求较高，可以自行选择如下参数设置）
在这里插入图片描述

4.2 vgg16的剪枝率实验记录

在这里插入图片描述

4.3 ResNet56的剪枝率实验记录

由于resnet参数量较少，一般resnet_56训8个半小时就行
在这里插入图片描述

4.4 GoogLeNet的剪枝率实验记录

在这里插入图片描述

4.5 ResNet110的剪枝率实验记录

在这里插入图片描述

4.6 DenseNet的剪枝率实验记录

在这里插入图片描述

 
 

5. 常见问题


(i) 我的数据集是Imagenet,代码中没有，怎么做？
answer：把预训练过程中的数据集预处理过程加入rank_generation和main.py中，再把你的数据集解压到data文件夹即可。
 
(ii) 我的网络并非已经有的模板里面，怎么做？
answer：把网络及相关训练代码加入（根目录下的）models文件夹中，（如densenet_cifar.py ），在rank_generation和main.py中def中加入网络的参数设定即可。
 
(iii) main.py有什么作用？
answer：这个里面是把生成秩按照降序的顺序排序，然后for cov_id in range(args.start_cov, len(convcfg)):，从第一层开始按照1，2，3… len(convcfg)设定的剪枝率把想剪的filters剪掉，每层设置几个epoch进行微调。
 
(iv) main.py中m.grad_mask(cov_id+1)将该层部分权重变成0，那剪枝的过程中会将这部分参数去掉吗？
answer：不会，对一个卷积层cov_id剪枝，就是将该层部分权重变成0，就保存该层模型。
 
(v) Main.py中有没有考虑偏置？
answer：对每一层权重和偏置都参与计算， for index, item in enumerate(params): 就会打印
1 bn1.weight
2 bn1.bias
3 layer1.0.conv1.weight等。
 
(vi) 如下：在这里插入图片描述
这里的convcfg里面的参数是什么？
convcfg里面对应的数字对应的是索引，是name_parammeters(),对应的索引，用来访问卷积的参数索引，如果相应的卷积层后接了Relu，就指的是Relu层对应的参数。
 
(vii) 若卷积层后面有Pooling和reLu层，则减去的对象是reLu层，若卷积层后面只有Pooling层，则减去的对象是Pooling层。
 
(viii) reLu最好不要选preLu，EreLu，RreLu等变形，因为可能会造成满秩，可能会造成无法剪枝。最好就选ReLu。

 
 

6. 论文概述

6.1 Framework

根据 filter 产生的特征图的秩的大小衡量 filter 的重要性，从而决定裁剪掉哪些 filter，其流程如下图所示：
在这里插入图片描述
 

6.2 Principle

本文收到的启发是来自于一些经验，作者观察到网络特征图的秩并不会根据训练 batch 的变化而变化(也就是filter对输入数据分布并不敏感)，见下图：
在这里插入图片描述
可见特征图的秩基本是没有变化的，与输入图片有几批无关。所以可以用很少的图片得到特征图的秩，理论上这个方法既准确又不需要多少训练时间，但是实际上实验的时候测试生成的秩也需要一个白天的时间，尤其对于vgg这种参数量大的网络。
 

6.3 Contributions

  1. 文章发现单个 filter 生成的特征图秩的均值并不会随着batch的改变而改变；
  2. 文章证明了具有 low-rank 属性的特征图信息含量较少，而 high-rank 属性的特征图信息含量较多。
  3. 实验证明文章中提出的算法在模型压缩和加速方面具有很好的表现。而且这个方法具有很好的移植性。
 

论文地址：Hrank论文
 

 

转载请标明出处，或与作者唐三/SQM联系。
 

唐三.
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
CVPR2020-HRank：Filter Pruning using High-Rank Feature Map
安静到无声
06-22 2828
1. 介绍 滤波器修剪的核心在于滤波器的选择，滤波器的选择应以最高的压缩比和最低的精度折衷。基于过滤器评价函数的设计，作者根据经验将过滤器剪枝分为两种大类。 属性的重要性(Property Importance)：基于CNNs的固有属性对滤波器进行修剪。这些修剪方法不会弥补网络训练损失。剪枝后，通过微调提高模型性能。在这些方法中: Network trimming: A data-driven neuron pruning approach towards efficient deep architect
《HRank：Filter Pruning using High-Rank Feature Map》论文笔记
m_buddy的博客
06-27 1025
代码地址： HRank HRankPlus 1. 概述 导读：卷积网络的剪裁对于模型部署到终端机上具有很强的实际意义，但是现有的一些剪裁算法存在训练并不高效，人工设计剪裁方案耗时费力，其原因就是缺少对于网络中非重要成分的指引。这篇文章中在特征图中搜寻具有High Rank（HRank）特性的filter（参考矩阵分解的内容），之后将那些具有low-rank对应的filter剪除掉，从而达到网络瘦身的目的。文章的方法的原理是：由一个filter产生的特征图他们的rank均值是是一致的，CNN网络中bat
HRank：异构信息网络中基于路径的排序方法
03-06
HRank：异构信息网络中基于路径的排序方法
Hrank模型剪枝
寂寞的小乞丐
03-29 626
HRank: Filter Pruning using High-Rank Feature Map 概述 这篇文章非常简单，直接使用每层的 featurefeaturefeature 结果去判断 filter−kernelfilter-kernelfilter−kernel 的重要程度： 上图展示了网络每一层的特征重要程度分布情况，如何确定重要性？ oji(I,:,:)=∑i=1rσiuiviT=∑i=1r′σiuiviT+∑i=r′+1rσiuiviT \begin{aligned}\mathbf{o}
Hrank 低秩剪枝，代码解读（一）
m0_37192554的博客
06-05 2552
下面是两张是网上看到的比较好的图 （第一张图，https://www.bilibili.com/read/cv2051292） （第二张图，https://www.jianshu.com/p/085f4c8256f1） 224 * 224 经过卷积7 * 7 s=2,p=3 ，64 * 112 * 112 再经过最大池化，尺寸减半， 645656 stage1,输入是645656 ，输出是 2565656 ， 通道多一倍，特征图没变，3个残差块 stage2 输入是2565656，输出是
模型压缩和剪枝--基于darknet权重文件移植
weixin_42780708的博客
05-26 1754
当知道如何训练自己的数据集后，如何将自己的模型优化并且速度更快，文件更小，精度更高呢，这时候除了调整超参数外，就要进行模型压缩和剪枝，并且为了落地到平台部署，推理速度是必须要考虑的，现在很多板卡（海思3519av100，jetson nano)上运行yolov3-tiny模型是可以跑的，FPS可以达到30左右，但是要检测多目标，或者复杂的物体识别，那就无法满足要求了。 因此我们要在保证准确度的前提下，对算法模型进行压缩和剪枝 参考开源项目：模型压缩和剪枝 https://github.com/tanlure
darknet权值剪枝工具
crazyeden的博客
07-18 519
这是之前读研的时候写过的工具，当时用了作为毕设的一部分。因为时间很久了，最近因为各种原因要重新翻出来咀嚼一下。 先献出源码https://github.com/Sunyouteng/darknet_prune_yoloV3 开发的过程种需要注意一下几点 1 weights中权值的存储顺序，需要先fread 偏移 和BN的相关参数，然后再加载卷积核的权重值； 2 权值的保存顺序是按照卷积核进行保存的，单个卷积核内部又是按照通道一层层进行保存； 3 剪切完某一层之后，一定要记得对其下一层的卷积核也要剪
EdgeAI_NetworkCompression_HRank-Filter-Pruning-using-High-Rank-Feature-Map_Report
04-19
HRank-Filter-Pruning-using-High-Rank-Feature-Map_Report 目录 - HRank: Filter Pruning using High-Rank Feature Map 论文介绍 背景介绍 至今深度学习已经开枝散叶，不管是任何领域，大多数模型都越来越深，...
HRank——Filter Pruning using High-Rank Feature Map.pdf
08-29
该论文的工作为模型剪枝提供了新的视角，即关注特征图的秩信息，而非仅仅依赖于权重的重要性或滤波器的激活值。这种方法不仅简化了剪枝过程，降低了设计复杂性，还显著提升了模型在资源受限环境下的部署效率。HRank...
模型剪枝最经典论文8篇.rar
07-08
模型剪枝是深度学习领域中一个重要的研究方向，旨在减少模型的复杂度，提高运行效率，同时保持或提升模型的性能。以下是对压缩包中提到的八篇经典论文的概要介绍，这些论文主要集中在2017年至2020年的CVPR和ECCV会议...
HRank:2020年CVPR接受我们论文的Pytorch实施（口头）-HRank
05-22
HRank：使用高等级特征图过滤器修剪（ ） 。 HRank的Pytorch实施（CVPR 2020，口服）。 该存储库是我们在CVPR 2020筹备期间使用的存储库。您可以享受它！ 在上发布了更好的HRank版本（在微调效率和准确性方面 。 强烈建议！ HRank的框架。 在左栏中，我们首先使用图像遍历卷积层以获得特征图。 然后，在中间一列中，我们估计每个特征图的等级，将其用作修剪的标准。 右列显示修剪（红色过滤器）和微调，其中绿色过滤器被更新，蓝色过滤器被冻结。 尖端 如有任何问题，请通过电子邮件与作者联系： 或 。 不要尽可能多地发布有关github的问题，以防万一我无法收到来自github的电子邮件，从而忽略发布的问题。 引文 如果您发现HRank对您的研究有用，请考虑引用： @inproceedings{lin2020hrank, title={HRank: F
c-password-hrank：密码
02-18
c密码 密码
1337Rank_Pool
07-23
1337Rank_Pool
yolov5剪枝代码可运行
03-02
yolov5剪枝代码可运行
yolov8 剪枝源码（集成多种剪枝策略）
最新发布
03-20
支持以下的剪枝方法，代码一键运行，并配有md文档说明: (1) lamp 剪枝 (2) slimming 剪枝 (3) group slimming 剪枝 (4) group hessian 剪枝 (5) Taylor 剪枝 (6）Regularization 剪枝 等等
『论文笔记』模型压缩之HRank:Filter Pruning using High-Rank！
AI新视界
09-23 1065
模型压缩之HRank:Filter Pruning using High-Rank！ 文章目录o. 复习1. 摘要2. 引言3. 方法 本论文是CVPR2020的文章，论文地址：HRank:Filter Pruning using High-Rank！ 本文使用Tensorflow2.0实现，代码地址：https://link.zhihu.com/?target=https%3A//github.com/lmbxmu/HRank 文章主要参考自以下作者： [模型压缩]–CVPR2020-
HRank: Filter Pruning using High-Rank Feature Map 阅读笔记
tjufan的博客
09-19 1145
论文地址: paper 代码地址: HRank, HRankPlus 1. 论文概述 这篇文章认为卷及神经网络中每层生成的特征图中包含信息量的大小可以使用特征图的秩作为评判标准，特征图秩的大小和对应着卷积核的重要性。因此本文在网络压缩中将保留 High Rank 对应的 filter, 裁剪 Low Rank 对应的 filter。上述网络裁剪的前提是基于每个 filter 产生的特征图的 rank 均值是一致的，并不会被 CNN 的参数和数据集中图片的不同而改变。同时，文章用数学证明了具有low-ran
HRank论文总结
u011231598的博客
05-06 1065
之前接触深度学习时结合自己负责的项目接触过关键点检测，语义分割这两个方向，当时主要研究了下对应方向的最新的网络以及曾经提出过的经典网络。在学习的过程中其实越来越体会到，选网络，训练，调参这些任务并不难的，因为这些在网上参考资料挺多的。其实深度学习这块最核心最重要的还是往应用端部署。很多网络能在显卡上达到实时性，但是怎么部署到算力有限的下位机中，这些在网上资料比较少，尤其是如果部署的平台比较小众，像一些国产的低端芯片，用的人比较少，然后可能本来芯片卖的就便宜，配套的资料不完善等等，这时候很多问...
[模型压缩]--CVPR2020-HRank：Filter Pruning using High-Rank Feature Map
weixin_42096202的博客
03-01 5254
Github 重新定义了剪枝规则，从实验效果来看，效率更高 Abstract： 神经网络剪枝为深度神经网络在资源受限设备上的应用提供了广阔的前景。然而，现有的剪枝方法由于缺乏对非显著网络成分的理论指导，在剪枝设计中存在训练效率低、人工成本高的问题。本文通过对高秩特征图的研究，提出了一种新的滤波剪枝方法。我们的HRank的灵感来自于这样一个发现，即由单个过滤器生成的多个特征图的平均秩总是相同的...
Alpha-Beta剪枝算法详解与实现
"Alpha-Beta剪枝算法是一种在博弈树中进行搜索的优化策略，用于减少在决策树中不必要的分支探索，提高效率。该算法广泛应用于棋类游戏，如一字棋（井字棋）等，通过计算机模拟玩家的决策来找到最佳的下一步。此算法...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐三.

谢谢您的认可

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值