网络压缩
文章平均质量分 80
地大大刘
这个作者很懒,什么都没留下…
展开
-
【Pruning Convolutional Neural Networks for Resource Efficient Inference】论文笔记
论文链接:https://arxiv.org/abs/1611.06440 这篇论文也是修剪卷积核的。 论文中提出了一种用于修剪神经网络中的卷积核的新公式,以实现有效的推理。 论文中提出了一个基于泰勒展开的修剪新准则,用它去近似由于修剪网络参数引起的损失函数的变化。原创 2018-06-11 16:57:01 · 6194 阅读 · 1 评论 -
【Fast Algorithms for Convolutional Neural Networks】论文笔记
这篇文章基于Winograd开创的最小滤波算法,介绍了一类新的卷积神经网络快速算法。针对卷积计算方式而言,与直接卷积相比,该算法可以将卷积层的算术复杂度降低4倍。算法部分对于最小滤波算法而言,使用r维滤波器计算m个输出(称之为F(m,r))需要m+r-1次乘法计算。标准计算而言的话,需要m×r次乘法计算。对于1-D卷积:输入x=[1,2,3,4],卷积核大小为3×1(r=3),k=[...原创 2019-04-08 21:21:23 · 1622 阅读 · 0 评论 -
【Binarized Neural Networks】论文笔记
[NIPS '16]论文地址:https://arxiv.org/pdf/1602.02830.pdf代码地址:https://github.com/MatthieuCourbariaux/BinaryNet这篇文章提出了一个新的网络:二值化网络(BNN),在运行时使用二值权重和激活。在训练时,二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。原创 2018-07-04 19:44:16 · 2388 阅读 · 0 评论 -
乘积量化(Product Quantization/PQ)笔记
论文链接:https://hal.inria.fr/file/index/docid/825085/filename/jegou_pq_postprint.pdfProduct quantization(PQ),国内直译为乘积量化,这里的乘积是指笛卡尔积,意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积,并利用Kmeans算法对分解得到的低维向量空间分别做量化。这样每个向量就能由多个...原创 2018-07-04 15:46:28 · 3695 阅读 · 1 评论 -
【Fixed-Point Performance Analysis of Recurrent Neural Networks】论文笔记
[ICASSP’16]论文链接:https://arxiv.org/abs/1512.01322 递归神经网络在许多应用中表现出优异的性能; 然而,它们需要增加基于硬件或软件的实现的复杂性。通过最小化权重和信号的字长可以大大降低硬件复杂性。这项工作使用基于重新训练的量化方法分析递归神经网络的定点性能。研究了RNN中各层的量化灵敏度,并给出了整体定点优化结果,使得权重容量最小化,同时不牺牲性能。使...原创 2018-07-03 21:44:35 · 213 阅读 · 0 评论 -
【Quantized Convolutional Neural Networks for Mobile Devices】论文笔记
[CVPR '16]论文链接:https://arxiv.org/abs/1512.06473代码链接:https://github.com/jiaxiang-wu/quantized-cnn文章中使用的是PQ量化方法,同时提出了量化误差的校正方案。原创 2018-07-03 20:41:49 · 1644 阅读 · 0 评论 -
【To prune, or not to prune: exploring the efficacy of pruning for model compression】论文笔记
[ICLR'18]论文链接:https://arxiv.org/abs/1710.01878Tensorflow修剪库参考:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/model_pruning这篇文章的重点在于比较一个大疏模型和一个小密模型之间的模型精度和尺寸权衡上,试图仔细研究模型修剪作为模型压缩手段的有效性。文章还提出了一种简单的逐步修剪方法:需要最少的调整并且可以无缝地融入训练过程中。同样展示了其原创 2018-06-26 15:30:36 · 3694 阅读 · 1 评论 -
【Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning】论文笔记
[CVPR’17]论文链接:https://arxiv.org/abs/1611.05128 主要工作:使用能量感知修剪方法设计一个高效节能的卷积神经网络(题目直译,哈哈) 作者认为以往的裁剪方法,都没有考虑到模型的带宽以及能量的消耗,因此无法从能量利用率上最大限度的裁剪模型,因此提出了一种针对CNN的能量感知修剪算法,直接利用CNN的能量消耗来指导修剪过程。总的来说也是修剪策略中的一种。...原创 2018-06-19 20:28:28 · 1543 阅读 · 3 评论 -
【Compressing Deep Convolutional Networks using Vector Quantization 】论文笔记
论文链接:https://arxiv.org/abs/1412.6115这篇论文对通过对权重矩阵进行量化编码来实现网络压缩,不涉及到网络加速,所以重点针对全连接层进行操作,因为全连接层的参数占网络参数的90%以上。文章主要对不同的矢量量化方法进行了评估。原创 2018-06-29 20:14:23 · 1531 阅读 · 0 评论 -
【Dynamic Network Surgery for Efficient DNNs】论文笔记
[NIPS'16]论文链接:https://arxiv.org/pdf/1608.04493.pdf代码链接:https://github.com/yiwenguo/Dynamic-Network-Surgery这篇文章也是关于参数的修剪,但是多了一个拼接的步骤,可以大幅度恢复修剪造成的精度损失,并且能有效的提升压缩率。原创 2018-06-14 21:47:34 · 1044 阅读 · 0 评论 -
【Pruning Filters for Efficient ConvNets】论文笔记
这篇论文也属于参数裁剪的一类,不同于一般的裁剪全连接层参数,这篇论文裁剪的是卷积核,而且把卷积核和特征图一起裁剪,统统丢掉。原创 2018-06-07 09:27:16 · 6384 阅读 · 3 评论 -
【Soft Weight-Sharing for Neural Network Compression】论文笔记
论文链接:https://arxiv.org/pdf/1702.04008.pdf这篇论文提出了一种新的量化和修剪权重参数的思路,用GMM进行量化和裁剪。原创 2018-06-12 21:47:28 · 1633 阅读 · 0 评论 -
【Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huff】论文笔记
追随Song Han大神的第二篇网络压缩论文(ICLR’16),论文链接:https://arxiv.org/abs/1510.00149 这篇论文是【Learning both Weights and Connections for Efficient Neural Networks】的升级版效果:大概能实现35-49倍的压缩。 在ImageNet数据集上,将AlexNet所需的...原创 2018-06-06 11:00:19 · 677 阅读 · 0 评论 -
深度学习网络压缩论文整理
GitHub网址 https://github.com/LJianlin/Model-Compression-Papers原创 2018-06-13 10:49:53 · 1080 阅读 · 0 评论 -
【ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression】论文笔记
[ICCV’17]论文链接:https://arxiv.org/pdf/1707.06342.pdf GitHub网址:https://github.com/Roll920/ThiNet项目资料网址:http://lamda.nju.edu.cn/luojh/project/ThiNet_ICCV17/ThiNet_ICCV17_CN.html这篇论文提出了一个高效且统一的CNN框架ThiNet,实现网络模型在训练与预测阶段的同时加速与压缩。关注filter级别的剪枝,将filter剪枝操作定义为一个原创 2018-06-19 20:34:12 · 1764 阅读 · 0 评论 -
【Learning both Weights and Connections for Efficient Neural Networks】论文笔记
追随Song Han大神的第一篇网络压缩论文(NIPS’15),论文链接:https://arxiv.org/abs/1506.02626网络权重参数修剪的基础篇。效果:作者用了4个网络实验 Lenet-300-100, pruning reduces the number of weights by 12× Lenet-5, pruning reduces the number of we...原创 2018-06-06 10:10:47 · 3698 阅读 · 19 评论 -
【NISP: Pruning Networks using Neuron Importance Score Propagation】论文笔记
为了减少深度卷积神经网络(CNN)中的显着冗余,大多数现有方法仅通过考虑单个层或两个连续层的统计来修剪神经元(例如,修剪一个层以最小化下一层的重建误差),忽略深度网络中误差传播的影响。相反,我们认为必须根据统一的目标联合修剪整个神经元网络中的神经元:最小化“最终响应层”(FRL)中重要响应的重建误差,这是之前的倒数第二层分类,用于修剪网络以重新训练其预测能力。具体来说,我们应用特征排序技术来测...原创 2019-04-17 16:35:44 · 1321 阅读 · 2 评论