(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 未来发展方向

已于 2023-04-11 23:32:43 修改
阅读量191 收藏
点赞数
分类专栏： 剪枝 文章标签： 剪枝 机器学习 人工智能
于 2023-04-11 23:24:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinyi763776890/article/details/130096152
版权

第2节中的每一小节在未来都有进一步发展的潜力。此外，结构化修剪将继续借用非结构化修剪的思想

剪枝理论

除了在第2.4节中使用优化工具进行修剪外，一些工作还从synaptic flow突触流[179]、signal propagation信号传播[180]和图论[181]的角度看待修剪。此外，修剪过程可以通过利用模型[182]、loss landscape损失景观[110]、generalizationstability trade-off可推广性权衡[183]和模型熵[184]的解释来指导。此外，使用对数修剪[185]研究了LTH背后的理论。此外，不同的训练方法[186]、[187]、[188]可以与修剪一起考虑。上述方向在结构修剪方面具有潜力。

剪枝机制

研究人员对流行的三阶段训练-修剪-再训练机制有了新的看法。首先，彩票假说是在非结构化修剪上提出的，有望扩展到结构化修剪上。其次，单次修剪[189]，[190]只修剪一次，得到修剪后的模型。结构化修剪可能从这种机制中受益。第三，AC/DC训练[191]能够对密集和稀疏模型进行联合训练。因此，在修剪和训练过程中处理多个模型是结构化修剪的另一个有希望的方向。

剪枝率和剪枝域

结构化修剪也可以扩展当前的权重修剪策略来研究分层修剪比率[192]，[193]。利用frequency domain频域[64]、[194]中的表示来指导修剪是另一个有趣的方向

特定任务的剪枝

剪技术可以应用于其他任务以实现高计算效率。这里有一些简单的例子：超分辨率[202]、个人识别[203]、医学成像诊断[204]、人脸属性分类[205]和集成学习[206]，[207]。除了上述任务外，还有一些新兴的方向仍处于早期阶段，但在未来很有希望

特定网络的剪枝

除了主要的神经网络外，对其他类型的神经网络剪枝也是有效的，如MLP，GAN，Transformers，Artificial general intelligence (AGI）

饿饿__
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[pytorch][stepbystep]在pytorch上实现卷积神经网路(CNN)的裁剪(purning)
weixin_30652491的博客
07-03 455
利用VGG-16对Dogs-vs-Cats数据集进行训练，裁剪VGG-16可以获得3x的运算加速和4x的模型减小 简介 puring神经网络是一个古老的idea,具体可以追溯到1990年（与Yann LeCun的最佳脑损伤[1]工作）。这个想法是，在网络中的许多参数中，有些是冗余的，对输出没有太大贡献。 如果您可以根据它们贡献的数量对网络中的神经元进行排名，那么您可以从网络中删除低级神经...
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 神经网络架构搜索
jinyi763776890的博客
04-11 603
与同时使用 DDPG 和 的 AMC [1-1] 相比，该方法使用近端策略优化 (PPO) 算法 [261] 作为策略，因为 PPO 给出了更好的实验结果。此外，由于专门设计的图环境，RL 系统的奖励不需要包含稀疏约束。此外，zero pruning indicator将归零权重的梯度，保持修剪层的权重以便于重新评估。多个agents 的存在来自于为层中的所有通道分配专用agents ，每个agents 只学习一个表示二元决策的参数。此外，通过将保留的通道限制为给定的空间，它大大减少了修剪结构的组合。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于激活的剪枝
jinyi763776890的博客
04-11 296
论文阅读Structured Pruning for Deep Convolutional Neural Networks: A survey - 2.2节基于激活的剪枝
【剪枝】——CNN网络剪枝综述Structured Pruning for Deep Convolutional Neural Networks: A survey
最新发布
怡宝2号
07-12 490
深度卷积神经网络（CNN）的卓越性能通常归因于它们更深、更宽的架构，这可能会带来巨大的计算成本。因此，修剪神经网络已经引起了人们的兴趣，因为它有效地降低了存储和计算成本。与导致非结构化模型的权重修剪不同，结构化修剪通过产生对硬件实现友好的模型，提供了实现加速的好处。结构化修剪的特殊要求导致了许多新挑战的发现和创新解决方案的开发。本文调查了深度CNN结构化修剪的最新进展。我们总结并比较了最先进的结构化修剪技术，包括滤波器排名方法、正则化方法、动态执行、神经架构搜索、彩票假说以及修剪应用。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 剪枝相关扩展知识
jinyi763776890的博客
04-11 399
在彩票假说的背景下，权重回溯有助于确定一个具有良好初始化权重的子网络，使其能够在较少的训练迭代次数内达到与原始网络相似的性能。Lottery Ticket 假设 (LTH)（2018）声称“密集、随机初始化的前馈网络包含子网络（中奖彩票），当单独训练时——在相似的迭代次数下达到与原始网络相当的测试精度。在权重回溯中，我们首先训练一个大型神经网络（也称为原始网络），然后剪枝该网络，保留一些重要的权重并去除其他不重要的权重。除了在权重级别的非结构化修剪和在滤波器级别的结构化修剪之外，还有其他粒度的修剪方法。
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基于正则的剪枝
jinyi763776890的博客
04-11 514
(ResRep)（2021）将CNN重参数化为两个部分，一个为记忆部分，保持学习性能，第二个为遗忘部分，在BN层之后插入1*1卷积或者compactors，训练更新梯度时仅作用于compactors，即只允许compactors遗忘，而其他卷积层保持不变（记忆）权重为0，激活值仍然是非零的，因为还有卷积的偏置，BN的方差和平均值，所以该方法不止对滤波器分组，而是将导致非零激活的参数分组在一起，引入混合L1-L2范数来进行稀疏。，在训练之后，对具有接近于零的γ的相应通道进行修剪。
A-Convolutional-Neural-Network-Cascade-for-Face-Detection:TensorFlow实现“用于面部检测的卷积神经网络级联”，CVPR 2015
05-17
用于人脸检测的卷积神经网络级联 此回购是TensorFlow中重新实现。 开始 准备资料 下载AFLW数据集（正）和COCO数据集（负）进行训练。 可以使用任何其他数据集代替负数的COCO数据集。 下载FDDB数据集进行测试。...
cvpr2012-Multi-column Deep Neural Networks for Image
03-17
《多列深度神经网络在图像分类中的应用》(cvpr2012-Multi-column Deep Neural Networks for Image Classification) 这篇论文由Dan Cires¸an、Ueli Meier和J¨urgen Schmidhuber共同撰写，来自瑞士IDSIA-USI-SUPSIG...
Learning Channel-wise Interactions for Binary Convolutional Neural Networks.pdf
04-07
一篇论文，提出了BI-CNN模型，能够使二值化神经网络大幅提高精度，在CIFAR-10和IMAGENET数据集上表现良好。
CNNIQA:CVPR2014-卷积神经网络用于无参考图像质量评估
05-03
CNNIQA 以下论文的PyTorch 1.3实施： 笔记 在这里，选择优化器作为Adam，而不是本文中带有势头的SGD。 data /中的mat文件是从数据集中提取的信息以及有关火车/ val /测试段的索引信息。 LIVE的主观评分来自。...
Fully-Convolutional-Networks-for-Semantic-Segmentation:2020 CVPR项目，全卷积网络在语义分割中的应用
03-28
在提供的"Fully-Convolutional-Networks-for-Semantic-Segmentation-master"压缩包中，可能包含了实现FCNs的源代码、预训练模型、数据集、实验配置文件以及相关的文档。用户可以通过阅读源代码，了解FCNs的具体实现...
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Con》
qq_46031969的博客
12-26 752
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Connection Sensitivity and Loss Function》
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 动态剪枝方法
jinyi763776890的博客
04-11 1018
Soft filter Pruning 软滤波器修剪(SFP)（2018）以结构化的方式应用了动态剪枝的思想，在整个训练过程中使用固定掩码的硬修剪将减少优化空间。允许在下一个epoch更新以前的软修剪滤波器，在此期间，将基于新的权重对掩码进行重组。例如，与复杂图像相比，包含清晰目标的简单图像所需的模型容量较小。Runtime Neural Pruning (RNP)（2017）静态模型不能通过对更容易识别和复杂的模式图像使用相同的权重来利用输入图像的不同属性，基于这个前提。
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
u012101561的博客
05-03 5849
  论文：A Survey of Model Compression and Acceleration for Deep Neural Networks               深度神经网络模型压缩与加速综述       摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难...
(Weight) Sparsity in Deep Learning
maxzcl的博客
04-20 3609
SOTA* Overview *[Submitted on 31 Jan 2021] Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks https://arxiv.org/abs/2102.00554 The growing energy and performance costs of deep learning have driven th.
模型压缩算法国内外研究现状综述
Joejwu的博客
07-03 1760
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]
[文献阅读] Sparsity in Deep Learning: Pruning and growth for efficient inference and training in NN
jokerxsy的博客
06-29 1484
论文地址：https://arxiv.org/abs/2102.00554sparse model的精确度和计算性能随稀疏程度的变化，分别如下图的绿\红所示。 实现模型稀疏化需要存储的数据格式，如下面的bitmap就是存储一个模型参数个数大小的0/1矩阵，作为mask。 前三种如下图所示。 略略模型的稀疏模式视输入样本而定略computers和brains的不同：略《Soft Threshold Weight Reparameterization for Learnable Sparsity》......
网络压缩《network pruning 浅析》
qq_29367075的博客
11-25 740
一：背景介绍 众所周知的是，神经网络有个很大特点就是参数太多了，计算量太大了，可能是几百兆的规模，这么大的存储量和计算量在小型设备上是运行不起来的，我们 必须要做对网络进行精简。 精简后有很多好处，比如 1）最直接的好处就是计算量和存储量的减小，从而使计算时间更少，功耗更小。 2）Memory footprint变小，可以放到更低端的设备上跑。。 3）Size更小的包有利于应用发布和更新。 所以这一些都是非常工程化的方法了。 一般大方向上来说，方法有如下： Outline： 网络剪裁（Network pru
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2284
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
【文献阅读】Perceptual Generative Adversarial Networks for Small Object Detection –CVPR-2017
06-06
好的，我了解了你的要求。关于你提到的这篇论文，是一篇关于小目标检测的研究，作者提出了一种基于感知生成对抗网络（PGAN）的方法来解决小目标检测问题。该方法通过对图像进行重新调整和增强，从而提高目标检测的精度和鲁棒性。这篇论文发表在2017年的计算机视觉与模式识别会议（CVPR）上。如果你还有其他问题，可以随时问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值