当前搜索:

ShiftCNN —— 基于量化的低精度网络表达

一个利用低精度和量化技术实现的神经网络压缩与解决方案。 个人认为,这是低精度量化方面少有的具有高度工程可行性的一个方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接: 《ShiftCNN: Generalized Low-Precision Architecture for Infer...
阅读(1866) 评论(0)

MEC —— 优化内存与速度的卷积计算

本次介绍一种内存利用率高且速度较快的卷积计算方法。 来自ICML2017, 《MEC: Memory-efficient Convolution for Deep Neural Network》1. 背景工作目前的CNN模型中,全连接层往往在最后一层才会使用。 意思也就是说,网络的主体是由卷积层构...
阅读(2862) 评论(3)

ShuffleNet

本文介绍旷视科技最近提出来的ShuffleNet, 目的同样也是利用特殊的网络结构达到参数少速度快的效果。文章链接: 《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》
阅读(11747) 评论(10)

Google Xception Network

本次介绍Google的Xception网络,该网络的目的或者说达到的效果是:模型参数量同GoogLeNet Inception V3相近的情况下取得更好的网络性能。文章链接: 《Xception: Deep Learning with Depthwise Separable Convolution...
阅读(4438) 评论(1)

利用ReLU输出稀疏性加速卷积

一篇讲利用ReLU输出的稀疏性来加速卷积计算的论文,其目的和另一篇文章《More is less》 有点类似。实验效果似乎还不错,但似乎并没有很大的创新。《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of...
阅读(3737) 评论(0)

MobileNets

一篇讲如何设计轻量级网络的文章,来自Google,方法和创新不是很多,但实验太充分。不愧是谷歌,财大气粗,实验随便跑。文章链接: 《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》...
阅读(4537) 评论(3)

More is Less——卷积网络加速

一篇讲网络加速的论文,来自2017CVPR。《More is Less: A More Complicated Network with Less Inference Complexitv》Introduction 目前做神经网络加速的主要有这几个方面: 低秩分解,定点运算、矢量量化、稀疏表示、特...
阅读(4050) 评论(0)

基于知识提取的方法训练一个小网络

Hinton大牛的文章,关于如何得到一个又小又好的网络的。文章链接《Distilling the Knowledge in a Neural Network》 —————————— 背景介绍 —————————— 大家都想要得到一个又好又快的模型,但是实际情况往往是模型越小则性能越差。文献[1]中...
阅读(2306) 评论(1)

模型压缩——将模型复杂度加入loss function

这里介绍2017ICLR OpenReview中的一篇有关网络压缩的文章《Training Compressed Fully-Connected Networks with a Density-Diversity Penalty》。 **看文章标题就知道主要是针对全连接层的,由此我的好感就下降了一...
阅读(2032) 评论(0)

DeepRebirth——通过融合加速网络

这里介绍2017ICLR OpenReview中的一篇有关网络加速的文章《DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices》。 看文章标题觉得高大上,看方...
阅读(2739) 评论(0)

剪枝+再训练:稀疏化DeepID2

压缩的核心剪枝再训练 算法流程 剪枝准则 实验分析 本次介绍的依然是压缩网络的方法,不过有了具体的应用场景:压缩的模型是DeepID2+。方法来源于《2015 arxiv: Sparsifying Neural Network Connections for Face Recognition...
阅读(7416) 评论(9)

网络压缩-量化方法对比

本次介绍的是一种压缩神经网络模型大小的方法,来自《2014 arxiv:Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样,基本只对全连接层有效,因此这里权作了解。由论文名可以...
阅读(4942) 评论(0)

深度学习——缩减+召回加速网络训练

本次介绍的是怎样通过对训练数据进行缩减以及召回而加快网络训练速度,《Accelerating Deep Learning with Shrinkage and Recall》。这篇文章给人的感受就是:想法很简单,实现的也很粗糙。但是,问题的角度比较新颖,而且感觉有很大空间可以继续挖掘。 Moti...
阅读(1625) 评论(0)

神经网络压缩:Deep Compression

本次介绍的方法为“深度压缩”,文章来源与2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman CodingIntroductio...
阅读(13317) 评论(15)
    个人资料
    持之以恒
    等级:
    访问量: 77万+
    积分: 7550
    排名: 3606