剪枝+再训练：稀疏化DeepID2

最新推荐文章于 2024-06-21 10:07:55 发布
最新推荐文章于 2024-06-21 10:07:55 发布
阅读量1.5w 收藏 20
点赞数 6
分类专栏： 神经网络压缩与加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/51700584
版权
本文介绍了压缩DeepID2+网络的方法，通过剪枝和再训练，专注于全连接层和卷积层的优化。算法流程包括从最后一层开始逐步剪枝并重新训练，剪枝基于神经元之间的相关性计算，实验表明在保持性能的同时减少了网络参数。
摘要由CSDN通过智能技术生成

本次介绍的依然是压缩网络的方法，不过有了具体的应用场景：压缩的模型是DeepID2+。方法来源于《2015 arxiv: Sparsifying Neural Network Connections for Face Recognition》，文章是王晓刚、汤晓鸥团队的，所以结果依旧很漂亮，但谁又能保证没点trick呢。T_T

压缩的核心：剪枝+再训练

算法流程

整个算法的流程很简单：从网络的最后一层开始，根据一定规则对该层进行剪枝，然后retrain网络，循环上述过程。

剪枝的实现方法，就是为权重施加一个相同大小的Mask, Mask中只有激活的地方才是1，其余全0.

算法流程图如下：

压缩流程图

剪枝准则

剪枝的目标就是只保留重要的权重。

全连接层剪枝

首先，对于如全连接和局部连接这些没有权值共享的层，我们可以很简单的计算神经元之间的相关性࿱

最低0.47元/天 解锁文章
shuzfan
关注
  • 6
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
cnn-model-pruning:修剪，模型压缩，卷积神经网络
04-01
CNN修剪-GAL，CVPR 2019 [再现] 修剪，模型压缩，对抗学习，卷积神经网络。 参考 通过生成对抗性学习（GAL）实现最佳结构化的CNN修剪，CVPR 2019。 FLOP计算工具 要求 python3 pytorch == 1.7.1 cudatoolkit == 11.0.221 numpy == 1.19.2 张量板x == 1.4 实验 CIFAR-10上的ResNet-56。 （图像分类） 执行 预训练模型准备 预训练的权重可从GAL（ ）下载。 培训和结构修剪阶段 有关参数的详细信息，请参阅 python main.py --job_dir < experiment> --teacher_dir < pretrain> --teacher_file < pretrain>
稀疏训练
Loong Cheng的博客
07-15 5284
什么是稀疏训练，看下面的流程。 说白了，就是删除cnn中weight，某个面中不要的值。如何取这个阈值呢?一般都是方差作为标准。也有把负值设为0的。这里感觉像什么？激活函数吧。 也是剪枝的一种，不同于通道剪枝，会加速运算。只是提高准确率性。 参考 http://www.xjishu.com/zhuanli/55/201710473955.html ...
深度神经网络——决策树的实现与剪枝
最新发布
知来者逆的博客
06-21 1220
是一种有用的机器学习算法，用于回归和分类任务。“决策树”这个名字来源于这样一个事实：算法不断地将数据集划分为越来越小的部分，直到数据被划分为单个实例，然后对实例进行分类。如果您要可视化算法的结果，类别的划分方式将类似于一棵树和许多叶子。这是决策树的快速定义，但让我们深入了解决策树的工作原理。更好地了解决策树的运作方式及其用例，将帮助您了解何时在机器学习项目中使用它们。
【剪枝/稀疏】概览与索引
weixin_34395205的博客
04-26 318
模型压缩与加速 1.终端移植key: 较全面的总结、包含auto，框架加速等 2.【简书】模型压缩总览主要是2018年以前的综述，论文index 3.模型压缩的一些论文 论文index（2015-2018） 4.神经网络压缩综述较全面，压缩各方面总结和论文序列index（年份，会议等；update2018/05）；神经网络模型压缩与加速较弱，code 5.深度学习模型压缩...
YOLOv3模型剪枝
qq_38109843的博客
07-09 5717
参考代码：https://github.com/Lam1360/YOLOv3-model-pruning https://github.com/coldlarry/YOLOv3-complete-pruning 剪枝代码解读：https://blog.csdn.net/just_sort/article/details/107089710 剪枝原理：https://openaccess.thecvf.com/content_iccv_2017/html/Liu_Learning_Efficient_Conv
机器学习--决策树二（预剪枝和后剪枝）
jimei2011的博客
11-22 5293
预剪枝，后剪枝
基于pytorch的yolo稀疏训练与模型剪枝
03-05
针对这些问题，"基于PyTorch的YOLO稀疏训练与模型剪枝"提供了有效的解决方案，旨在减少模型的冗余，提高运行效率，同时保持或提升模型性能。 稀疏训练（Sparse Training）是让模型在训练过程中学习到稀疏权重，即大...
深度学习+目标检测+训练自己数据集+YOLOX+剪枝+轻量化
03-09
采用pytorch深度学习环境，目标检测为YOLOX，可做剪枝。 功能描述： 1.可训练自己数据集 2.支持图像推理 3.支持视频推理 4.支持mAP测试 5.支持任意层的剪枝 6.支持多种模型 7.支持微调训练 内含readme文件，可快速...
基于pytorch的模型稀疏训练与模型剪枝示例
03-05
为了解决这一问题，研究者们提出了模型稀疏训练（Sparse Training）和模型剪枝（Pruning）等技术。本示例将深入探讨如何在PyTorch框架下实现这两个过程。 首先，让我们了解模型稀疏训练。模型稀疏训练是指在训练...
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
本项目聚焦于四个关键技术：模型剪枝、模型量化、批归一化（BN）层的合并以及使用TensorRT进行部署，这些技术都是针对PyTorch框架进行的。下面将详细解释这四个方面的知识。 1. **模型剪枝**： 模型剪枝是一种优化...
算法部署-对mobilev2-yolov5s进行剪枝+蒸馏-并进行NCNN+TensorRT部署-附详细流程+原理教程
03-12
算法部署_对mobilev2-yolov5s进行剪枝+蒸馏_并进行NCNN+TensorRT部署_附详细流程+原理教程_优质算法部署项目实战
剪枝与重参第二课：修剪方法和稀疏训练
周同学的博客
04-07 3837
剪枝与重参第二课笔记
概览：快速入门神经网络剪枝！
Cai_deLong的博客
12-17 6660
一、模型剪枝技术原理 什么是模型剪枝？ •深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。 模型剪枝是新概念吗 ？ •Dropout和DropConnect代表着非常经典的“模型剪枝技术”。 •只是这个操作仅仅发生在训练中，对最终的模型不产生影响，因此没有被称为模型剪枝技术。 •Dropout和DropConnect代表着非常经典的“模型剪枝技术”。...
【神经网络压缩加速之剪枝二】Pruning Filters for Efficient ConvNets
My Blogs
09-24 1245
Abstract 神经网络的广泛应用伴随着计算量的增加和参数存储成本. 最近的研究工作在不损害原来准确度的基础上,通过剪枝和压缩不同层间的权重进行网络压缩. 然而,基于幅值的剪枝(magnitude-based pruning)仅能够减少全连接层的参数,而由于修剪网络中的不规则稀疏性,可能无法充分降低卷积层中的计算成本. 我们提出了一个加速的剪枝方法,即修剪那些被认为对输出准确度有很小影响的...
yolov5-6.0的稀疏化训练、结构化剪枝、微调
qq_41920323的博客
04-22 3276
YOLOv5的BN剪枝、微调
ADMM深度模型稀疏化训练
AI Flash
12-19 2213
基本原理 参考论文：https://arxiv.org/abs/1804.03294 GitHub：https://github.com/microsoft/nni/blob/master/nni/algorithms/compression/pytorch/pruning/admm_pruner.py 组合优化问题 基本的优化问题： 引入辅助变量、对偶变量，构造ADMM正则化约束： 交替方向优化求解 固定Z与U，通过SGD优化求解得到： 固定W，更新得到Z与U： ..
Yolov5 中添加Network Slimming剪枝--稀疏训练部分
m0_46093829的博客
12-06 4233
Yolov5 中添加Network Slimming剪枝--稀疏训练部分
YOLOx的稀疏化训练、剪枝、微调
qq_41920323的博客
04-25 681
yolox的稀疏化训练、剪枝、微调
剪枝基础与实战(3): 模型剪枝和稀疏化训练流程
@bangbang的博客
08-20 868
对网络进行稀释训练，需要设置$ \lambda$稀疏因子(平衡正则项损失的权重)，从而控制网络的稀释化效果。论文中对VGGNet中，在不同程度的稀疏正则化(由参数λ \lambdaλ控制)下，训练的VGGNet中缩放因子(scale factor)的分布，这一步的训练就是非常普通的训练过程，为了获得原模型的训练权重，可以拿来作为一个对比的基准，也可以拿来进行稀疏训练。考虑一个问题，深度学习模型里面的卷积层出来之后的特征有非常多，这里面会不会。，Pool2d 的层只用来做下采样，没有可学习的参数，不用处理。
稀疏训练l2、l1剪枝
09-13
而L2和L1剪枝是两种常见的稀疏训练方法。 L2剪枝是通过对网络的权重进行缩放和修剪来实现稀疏训练。首先，在网络的训练过程中，将权重的L2范数加入到损失函数中，以此作为正则化项。这样，在训练过程中，网络倾向于...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值