论文阅读
CrayonShinXmu
这个作者很懒,什么都没留下…
展开
-
Global Sparse Momentum SGD for Pruning Very Deep Neural Networks 论文阅读笔记
Global Sparse Momentum SGD for Pruning Very Deep Neural NetworksIntroduction这篇论文来自NIPS19,虽然做的是非结构化的剪枝,但是可以直接迁移到结构化剪枝上去做。这篇paper的方法我觉得是非常简单奏效的,作者提出了将网络中的权重动态地进行分类,在一个batch的训练中,用一阶泰勒展开来判断对一个权重进行剪枝会对最终的输出造成多少影响,对这个影响进行排序,然后将整个网络中的权重进行分类,对第一类,即造成影响较大的权重,采用常规原创 2020-06-14 12:57:18 · 883 阅读 · 0 评论 -
Proximal Mean-field for Neural Network Quantization 论文阅读笔记
Proximal Mean-field for Neural Network Quantization1.Background Knowledge1.1 MRF optimization令F={F1,…,Fm}是一组定义在集合S上的随机变量,其中Fi代表在标签集L中的一个取值fi,Fi=fi代表取值为fi的事件,(F1=f1,…,Fm=fm)代表联合事件(joint event)。假设f={...原创 2019-10-29 17:18:42 · 327 阅读 · 0 评论 -
BNN Pytorch代码阅读笔记
BNN Pytorch代码阅读笔记这篇博客来写一下我对BNN(二值化神经网络)pytorch代码的理解,我是第一次阅读项目代码,所以想仔细的自己写一遍,把细节理解透彻,希望也能帮到大家!论文链接:https://papers.nips.cc/paper/6573-binarized-neural-networks代码链接: https://github.com/itayhubara/Bina...原创 2019-10-17 21:20:50 · 4863 阅读 · 9 评论 -
论文阅读:Co-Evolutionary Compression for Unpaired Image Translation
论文阅读:Co-Evolutionary Compression for Unpaired Image TranslationAbstract作者提出了一种新的协同进化方法来同时减少内存使用和FLOP。在实践中,两个图像域的生成器被编码为两个群体且协同优化来迭代地研究最重要的卷积滤波器。用参数的数量、鉴别器感知正则化和循环一致性来计算每个个体的适应度。Method作者指出,传统网络压缩使用...原创 2019-09-30 16:04:13 · 820 阅读 · 0 评论 -
论文阅读:Channel Pruning for Accelerating Very Deep Neural Networks
论文链接代码链接(caffe)Motivation & Abstract作者指出当前的CNN加速工作分为三种:optimized implementation (直接优化?)量化(这个还没接触过,不过以后一定会钻研)structured simplification 结构简化作者的方法就属于第三种结构简化,这种方法又可以细分为三种,如下图:图c是张量分解,即将...原创 2019-09-22 10:08:04 · 244 阅读 · 0 评论 -
论文阅读:Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning
论文链接MotivationMethodExperimentConclusion原创 2019-09-21 11:15:08 · 770 阅读 · 0 评论 -
论文阅读:NetworkTrimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
第一次接触这个方向,很多术语都不甚熟悉,希望大家不吝赐教~文章链接Motivation作者在对现在主流的CNN网络进行分析后,发现CNN中的很多神经元的“表现力”很弱(low activations),这些神经元可以被剪枝,同时网络的表现能力不会被破坏,作者提出了一个可迭代的优化方法来对这些弱神经元进行剪枝,提出了一个新的参数应用于剪枝方法: Average Percentage of Zer...原创 2019-09-19 20:49:50 · 1397 阅读 · 0 评论