Channel Pruning for Accelerating Very Deep Neural Networks论文笔记

最新推荐文章于 2021-03-10 15:40:53 发布
最新推荐文章于 2021-03-10 15:40:53 发布
阅读量917 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yimiyangguang1994/article/details/80775569
版权
本文介绍了Channel Pruning方法用于加速深度神经网络的推断过程，通过LASSO回归选择代表性通道并使用最小二乘法重建网络。在VGG-16上的实验表明，该方法能有效减小模型尺寸，但速度提升和精度损失之间存在平衡。代码实现可在GitHub上找到。
摘要由CSDN通过智能技术生成

论文阅读

https://arxiv.org/abs/1707.06168

总结

利用channel pruning实现网络inference过程中的加速，预训练模型上剪枝，包括两个步骤（1）LASSO regression based channel selection (2)least square reconstruction

最低0.47元/天 解锁文章
yimiyangguang1994
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
channel pruning for accelerating very deep neural networks
weixin_45963617的博客
07-15 430
一、Introduction 1.cnn加速主要分为三类： optimized implementation 优化实现、quantization量化、structured simplification结构化简化（本文） 2.structured simplification 结构化简化主要包括三种方法： （1）张量分解：将卷积层分解为几个有效的卷积层，但通道数不能减少，这使得网络很难分解为1 × 1卷积层，这种方法会带来额外的计算开销。 （2）稀疏连接：使神经元或通道间的连接失效，且具有“不规则”的形状，不
《Channel Pruning for Accelerating Very Deep Neural Networks》论文笔记
m_buddy的博客
01-02 1133
1. 概述 这篇文章提出了一种基于LASSO回归的通道选择和最小二乘重构的迭代两步算法，有效地对每一层进行修剪。并进一步将其推广到多层和多分枝的场景下。论文中的方法能够减少累积误差并且提升对于不同结构的适应性。该方法在VGG-16数据集上实现了5倍加速并且只有0.3%误差提升。更重要的是文章中的方法可以用于加速像ResNet和Inception，在加速两倍的情况下只牺牲了1.4%和1.0%的准确率...
【论文笔记】Channel Pruning for Accelerating Very Deep Neural Networks
shura的技术空间
11-06 2211
论文：https://arxiv.org/abs/1707.06168 源码：https://github.com/yihui-he/channel-pruning 本篇论文来自ICCV2017年的论文，是旷世的工作。因为之复现AMC的论文发现源码中使用了权重重构 （weight reconstruction）的方法，于是乎查了出处发现来源于这篇论文。本文的思想算是channel prune早...
Channel Pruning for Accelerating Very Deep Neural Networks
jwy2014的专栏
12-05 423
https://github.com/yihui-he/channel-pruning   ICCV 2017, by Yihui He, Xiangyu Zhang and Jian Sun Please have a look at AMC: AutoML for Model Compression and Acceleration on Mobile Devices ECCV'18, ...
Channel Pruning for Accelerating Very Deep Neural Networks 论文笔记
zhongshaoyy的博客
11-16 6450
之前pruning操作都是针对于W矩阵，本文另辟蹊径采取对channel进行pruning的方式来减小运算量。来自ICCV2017，是作者在Face++完成的工作。 PDF  Code 作者基于CNN每一层都是稀疏地假设，考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron？ 分为两步解决问题： 找出每一层具有代表性地neuron，我们利用lasso r
[剪枝]Channel Pruning for Accelerating Very Deep Neural Networks
Mars_WH的专栏
04-28 470
[ICCV2017] Channel Pruning for Accelerating Very Deep Neural Networks arxiv:https://arxiv.org/abs/1707.06168 github:https://github.com/yihui-he/channel-pruning 序言 最近在系统学习DL的相关理论知识，猛然看到无监督学习中关于“稀疏编码”...
神经网络剪枝 Neural Network Pruning
qq_43543515的博客
07-12 1439
根据点来拟合得到函数，存在过拟合现象 函数公式中，存在比较小的项，去掉后 泛化能力更好，模型大小变小，算起来更快 连接的权重小就剪掉，剪掉就是置0 掩码生成：先求绝对值，然后告诉他要减掉图50%，得到返回值0.6，就是说小于0.6的都剪掉。 ...
Channel Pruning for Accelerating Very Deep Neural Networks 算法笔记
AI之路
04-04 6015
论文：Channel Pruning for Accelerating Very Deep Neural Networks 论文链接：https://arxiv.org/abs/1707.06168 代码地址：https://github.com/yihui-he/channel-pruning 这是一篇ICCV2017的文章，关于用通道剪枝（channel pruning）来做模型加速，通...
神经网络剪枝的研究进展状态（Neural Network Pruning）.pdf
03-10
社区缺乏标准化的基准和度量标准。这一缺陷非常严重，以至于很难对修剪技术进行比较，也很难确定这一领域在过去三十年中取得了多大的进步。为了解决这种情况，我们确定了当前实践中的问题，提出了具体的补救措施，并引入了ShrinkBench，这是一个开源框架，用于促进修剪方法的标准化评估。我们使用收缩台对各种修剪技术进行了比较，结果表明，它的综合评价可以防止在比较修剪方法时常见的缺陷。
模型压缩之通道剪枝channel-pruning-master.zip
08-01
对训练好的模型进行通道剪枝（channel pruning），分为两步进行：第一步是channel selection，采用LASSO regression来做，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，基于linear least squares来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。
Python-ChannelPruningforAcceleratingVeryDeepNeuralNetworks
08-12
Channel Pruning for Accelerating Very Deep Neural Networks
Performance Evaluation of Channel Decoding With Deep Neural Networks——论文复现总结
kopkd的博客
03-10 341
1、神经网络解码器具有单次解码和并行计算的能力 2、MLP、CNN、LSTM三者中LSTM具有最佳的解码性能，但以最大的计算开销为代价 3、此外，我们发现每种类型的神经网络都存在一个饱和长度，这是由于它们的学习能力受到限制而引起的。 4、结构化代码比随机代码更好训练，并解决了基于深度学习的解码器难以训练长代码的挑战。因此，提出将极坐标编码图划分为子块，每个子码字的解码器分别进行训练。 ...
Channel pruning的衡量准则
AI Flash
04-28 2195
文章"Pruning Convolutional Neural Networks for Resource Efficient Inference"的介绍。1、Introduction文章提出了一种针对预训练模型进行通道裁剪（channel pruning）的方法，通过逐一裁剪通道、fine-tuning的迭代操作，实现一定比例的模型压缩，同时确保较低的精度损失。文章首先定义了用于衡量通道（cha...
代码开源：Channel Pruning for Accelerating Very Deep Neural Networks
yihuihe
08-22 7772
代码开源：Channel Pruning for Accelerating Very Deep Neural Networks[PDF] [Code] 基于CNN每一层都是稀疏地假设，我们考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron？
鉴别力感知的通道剪枝——Discrimination-aware Channel Pruning
AI Flash
11-08 6457
"Discrimination-aware Channel Pruning for Deep Neural Networks"这篇文章首先认为通道剪枝能够确保剪枝后模型与现有深度学习框架兼容，避免非规整的稀疏运算。其次基于训练的通道剪枝策略，需要在训练过程中施加稀疏约束或正则化约束，通常消耗较大的训练时间。另外基于最小化输出特征重建误差、layer-by-layer方式的剪枝策略（channel ...
论文阅读【模型剪枝（一）】
Rock的博客
07-15 775
最近看了几篇关于剪枝的paper，汇总如下： 1.Channel Pruning for Accelerating Very Deep Neural Networks 论文地址：https://arxiv.org/abs/1707.06168 代码地址： https://github.com/yihui-he/channel-pruning 对于完成网络训练后的模型加速的方法一般有三种：优化实现（...
闲话模型压缩之网络剪枝（Network Pruning）篇
热门推荐
世事难料，保持低调
09-15 4万+
背景 今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。因此，人们正在从各个角度试图克服这个问题，如这几...
代码pruning convolutional neural networks for resource efficient inference
最新发布
08-14
代码修剪卷积神经网络用于资源高效推理，是一种优化模型的方法，旨在减小模型的尺寸和计算量，从而实现在资源受限的设备上进行高效推理。 修剪是指通过删除模型中的一些参数或神经元来减小模型的复杂性。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值