网络模型加速和压缩
AManFromEarth
这个作者很懒,什么都没留下…
展开
-
网络模型剪枝-论文阅读-Network Slimming
论文地址:Learning Efficient Convolutional Networks through Network Slimming这篇论文是在2017年的ICCV发表的,可以看做是之前讲过的channel pruning方法的变种,但是更加简单有效。简单来说,这篇论文的剪枝方式是,给每个通道加上权重,在训练的过程中使用L1正则化对通道权重进行稀疏化,然后对于最终通道权重低于阈值的通道剪枝,最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga原创 2020-06-24 20:28:35 · 1686 阅读 · 0 评论 -
网络模型剪枝-论文阅读-Deep compression
下载地址:《Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding》这篇是韩松大神的代表作,是ICLR2016年的best paper,值得好好读一下。其实这篇论文本质上是《Learning both Weights and Connections for Efficient Neural Networks》的极致扩展,是在这篇论文基础上继续压缩模型,原创 2020-06-24 20:26:03 · 976 阅读 · 0 评论 -
网络模型剪枝-论文阅读-《Channel Pruning for Accelerating Very Deep Neural Networks》
与上篇对卷积核进行剪枝不同,本篇论文主要是对特征通道进行剪枝。Introduction其实这一篇论文的立意和上篇类似,都是说在剪枝后不需要产生稀疏网络,不同的是,该篇论文是剪枝的冗余的特征通道来达到目的。其剪枝方法是:对于一个训练好的网络,通道剪枝是通过最小化其剪枝前后的输出特征图之间的重建误差来完成的:首先是进行通道选择和特征图重建,在该过程中使用LASSO回归找到冗余的特征图并剪枝;然后使用最小二乘优化对剩余的特征通道进行输出重建。方法该论文首先对单层卷积层剪枝方法进行说明,然后是多层和多分枝网原创 2020-06-23 09:44:44 · 746 阅读 · 1 评论 -
网络模型剪枝-论文阅读《Pruning Filters For Efficient Convnets》
之前的两篇分别讲了剪枝的权重剪枝和神经元剪枝,这篇是专门针对CNN卷积核进行剪枝的,还是挺有针对性和有效的,建议大家去看下原文。Introduction论文首先指出了现有剪枝网络的两个主要问题:一个是有些剪枝方法在剪枝后并不能减少计算时间,因为大多数的剪枝操作是在计算量不大的FC层完成的;另一个问题是,有些能剪枝CNN的方法在剪枝后需要使用单独的稀疏网络框架(BLAS)甚至专门的硬件上才能运行。所以本文专注于对卷积核剪枝,与权重剪枝相比,卷积核剪枝对于剪枝操作更自然,不会引入稀疏连接,所以不需要使用专原创 2020-06-22 21:51:54 · 2233 阅读 · 2 评论 -
网络模型剪枝-论文阅读-《Data-free Parameter Pruning for Deep Neural Networks》
与上篇论文剪枝权重连接不同,这篇论文是直接剪枝神经元,并且是data-free,就是不用重训练的,值得读一下。本篇论文的主要思想是,找到两个非常相似的神经元,删除其中的一个并使最终的输出尽量不变。定义相似的神经元之前的神经元剪枝操作是找到冗余的(权重为0的)神经元,然后进行剪枝,这样的话最终的网络输出是没有任何影响的。在这篇论文中,作者定义了另外一种神经元冗余。首先以单层隐藏层、只有一个输出z的神经网络举例,如下图:对于该神经网络输出z来说:z=a1h(W1TX)+a2h(W2TX)+a3h(原创 2020-06-19 18:26:09 · 1215 阅读 · 0 评论 -
网络模型剪枝-论文阅读《Learning both Weights and Connections for Efficient Neural Networks》
这是2015年NIPS的一篇经典的剪枝文章,由韩松大神所作,由于年代比较久远,所以就大概说一下它的重点内容,以便给模型剪枝有个初始印象。Introduction文章首先讲了LeNet、AlexNet和VGG这些当时经典的网络的参数量的非常大,同时需要的存储空间也越来越大;然后以能量消耗的角度谈了这些模型运行具体能消耗多少能量。这就引出了本文的目标,就是对较大的网络模型进行剪枝以降低能量消耗从而能在移动端实时运行。文章提出的剪枝策略是:①在初始模型训练完成后,②移除权重低于特定阈值的所有连接,即从稠密连原创 2020-06-18 20:40:15 · 1168 阅读 · 0 评论