模型压缩
莫一丞元
根特大学PhD在读
展开
-
ShuffleNet理解
ShuffleNet是Face++的一篇关于降低深度网络计算量的论文。 论文的Insight是现有的先进basic架构如Xception和ResNeXt在小型网络模型中效率较低,因为大量的1×11×1卷积耗费很多计算资源,论文提出了逐点群卷积(pointwise group convolution)帮助降低计算复杂度;但是使用逐点群卷积会有负作用,故在此基础上,论文提出通道混洗(channel shuffle)帮助信息流通。基于这两种技术,我们构建一个名为ShuffleNet的高效架构,相比于其他先进模型,原创 2020-09-07 22:16:31 · 218 阅读 · 0 评论 -
Mobilenet 系列理解
背景 目前的研究总结来看分为两个方向:一是对训练好的复杂模型进行压缩得到小模型;二是直接设计小模型并进行训练。不管如何,其目标在保持模型性能(accuracy)的前提下降低模型大小(parameters size),同时提升模型速度(speed, low latency)。Mobilenet v1是Google 2017年提出的一种小巧而高效的CNN模型,其在accuracy和latency之间做了折中。创新点在于:其在卷积方面做文章。 深度级可分离卷积 MobileNet的基本单元是深度级可分离卷积(de原创 2020-09-06 19:12:26 · 844 阅读 · 0 评论