模型压缩
librahfacebook
爱代码,爱游戏,喜欢一切高端前沿技术
展开
-
MetaPruning: 基于元学习的自动化神经网络通道剪枝
我们提出来一个最新的元学习方法,对非常深的神经网络进行自动化通道剪枝。首先训练出一个PruningNet,对于给定目标网络的任何剪枝结构都可以生成权重参数。我们使用一个简单的随机结构采样方法来训练PruningNet,然后应用一个进化过程来搜索性能好的剪枝网络。与当前最先进的剪枝方式相比,MetaPruning在MobileNet V1/V2和ResNet上有着最好的性能表现。原创 2019-10-28 22:15:09 · 3022 阅读 · 4 评论 -
AMC:移动设备上模型压缩和加速的AutoML
本文,我们提出了针对模型压缩的AutoML,称为AMC,它利用强化学习方法来有效地采样设计空间,能够提高模型压缩质量。我们在没有人力作用的情况下,以一种完全自动化的方式获得了先进的模型压缩效果。在4倍浮点数计算量减少的情况下,在ImageNet上的VGG-16模型下,我们获得了比手动调整模型压缩方法更好的2.7%精度提升。原创 2019-08-24 11:01:39 · 1988 阅读 · 0 评论 -
NestDNN:用于连续移动视觉的资源感知性多租户设备深度学习框架
本文我们提出了NestDNN,一个将运行时资源的动态性考虑在内的框架,对于移动视觉系统可支持资源感知性多租户的设备深度学习。NestDNN支持每个深度学习模型来提供灵活的资源和精度间的权衡,在运行期间,它动态地为每个深度学习模型选择了最优的资源和精度间的权衡,从而更好地适应系统可用运行资源的需求。原创 2019-08-15 12:48:04 · 1007 阅读 · 0 评论 -
端边云协作推理相关论文总结
Papers About End-Edge-Cloud Collaborative Inference文章目录Papers About End-Edge-Cloud Collaborative InferencePart 1: Edge ComputingPart 2: Model CompressingPart 3: Reinforcement LearningReferencesPar...原创 2019-08-18 22:20:19 · 4983 阅读 · 3 评论 -
Channel Pruning:用于加速深度神经网络的通道剪枝方法
我们介绍了一种新的通道剪枝方法,用来加速非常深的卷积神经网络。给定一个训练过的CNN模型,我们提出来一种迭代式的两步骤算法,通过基于通道选择的LASSO回归和最小二乘法重建来有效地修剪每一层。我们进一步将这个算法扩展到多层、多分支的情况。该方法减少了积累误差,提高了与各种体系架构的兼容性。原创 2019-07-27 20:46:38 · 5305 阅读 · 1 评论 -
Deep Compression:使用剪枝算法、权重量化和霍夫曼编码的的深度神经网络压缩
本文出自论文 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding ,主要引入了三个阶段来对深度神经网络进行压缩,分别是:剪枝、训练量化和霍夫曼编码。为了解决神经网络计算和内存密集型而难以在硬件资源受限的系统上部署的问题,本文引入了深度...原创 2019-07-26 16:45:03 · 3641 阅读 · 1 评论 -
剪枝算法:有效神经网络的权值和连接学习
本文出自论文 Learning both Weights and Connections for Efficient Neural Networks ,主要介绍了剪枝算法的使用以及其压缩效果的性能影响。神经网络是计算密集型和内存密集型的,使得它们在嵌入式系统上部署很困难。另外,卷积网络在训练开始前其体系架构被固定,导致其训练过程不能改进它的体系架构。为了解决这些限制,本文采用了一种方法来减...原创 2019-07-25 19:00:09 · 2355 阅读 · 5 评论 -
Auto Machine Learning笔记 - Bayesian Optimization
原文链接:Auto Machine Learning笔记 - Bayesian Optimization优化器是机器学习中很重要的一个环节。当确定损失函数时,你需要一个优化器使损失函数的参数能够快速有效求解成功。优化器很大程度影响计算效率。越来越多的超参数调整是通过自动化方式完成,使用明智的搜索在更短的时间内找到最佳超参组合,无需在初始设置之外进行手动操作。贝叶斯优化(Bayesian ...转载 2019-07-20 10:22:16 · 1401 阅读 · 0 评论 -
实时视频处理的边云协作神经网络
本文出自论文 Collaborative Edge and Cloud Neural Networks for RealTime Video Processing ,主要提出来一个在边缘和云上协作的处理模型(Edge-Cloud Model)。视频流的高效处理在许多新兴的物联网和边缘应用程序中是一个关键的组成,例如虚拟现实(VR)、增强现实(AR)以及自动驾驶汽车。这些应用程序要求实时的高...原创 2019-07-24 16:21:36 · 1468 阅读 · 0 评论 -
面向深度学习的高效方法与硬件
韩松,2017 年斯坦福大学电子工程系博士毕业,师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构,他提出的 Deep Compression 模型压缩技术曾获得 ICLR’16 最佳论文,ESE 稀疏神经网络推理引擎获得 FPGA’17 最佳论文,对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用,博士期...转载 2019-07-12 09:42:20 · 441 阅读 · 0 评论 -
partition:执行在雾设备上的CNN模型划分
本文出自论文 Partitioning of CNN Models for Execution on Fog Devices ,提出了一种新的针对CNN模型的深度输入划分方案,并通过实验来证明其良好性能。深度神经网络的改进意味着广泛使用这种模型来分析和推理大量数据,包括传感器观察,图像和语音。对于这种在靠近数据源的设备上运行的推理任务的需求正在增长。这样的设备被放置在网络边缘,被称作雾设备...原创 2019-07-18 15:34:10 · 709 阅读 · 0 评论