MobileNet目录
参考文献:MobileNets: Efficient ConvolutionalNeural Networks for Mobile Vision Applications
作者:Andrew G. Howard, Menglong Zhu, et al
单位:Google
发表会议及时间:CVPR 2017
前言
1. 前期知识储备
- 卷积操作: 掌握CNNs具体卷积过程,熟悉卷积核的参数意义
- ResNet: 了解残差网络基本结构,残差块的构成
- 激活函数: 了解激活函数的意义和优缺点
2. 学习目标
- 熟悉深度可分离卷积过程,体会其优势
- 掌握MobileNet构建方式,了解超参数概
- 了解后续版本创新点
- 代码复现MobileNet结构
研究背景
《动机》
- 自AlexNet以来,神经网络倾向于更深更复杂的网络结构,但不一定在时间和内存大小上高效
- 实际应用环境中,需要在有限的算力下实时计算
《现有方法》
- 模型压缩:在已经训练好的模型上进行压缩,使得网络携带更少的网络参数
- 直接训练一个小型网络:从改变网络结构出发,设计出更高效的网络计算方式,从而使网络参数减少的同时,不损失网络的性能。
《本文方法》
- 提出了一类新型网络架构,根据应用需求与资源限制(延迟,大小),构建相匹配的小型网络
- MobileNets主要致力于优化延迟,但也可以产生小型网络
- MobileNets主要基于深度可分离卷积(depthwise separable convolutions)构成,通过设置两个超参数,实现准确率和延时性之间的平衡
研究成果
在ImageNet数据集上,在参数量减少了三十多倍的条件下,准确率与VGG16相近,只相差了0.9%(Table 8)
在更小结构的MobileNet中,在参数量减少了四十多倍的条件下,性能超越了Alexnet,top-1 accuracy达到60.24%,体现了本文方法的高效性。
MobileNet实现了速度与准确率的高效平衡(Table 9)
《MobileNet意义》
- 以MobileNet为代表的网络,可以在移动终端实现众多的应用,包括目标检测,目标分类,人脸属性识别和人脸识别等,使移动终端、嵌入式设备运行神经网络模型成为可能
- MobileNet拥有更小的体积,更少的计算量,更高的精度。在轻量级神经网络中拥有极大的优势
- 作为谷歌推出的开源框架,该论文引用超3700次,并推出后续v2,v3版本,推动了轻量级网络的进一步发展。
论文结构
摘要
- 提出了针对移动和嵌入式视觉应用的高效神经网络MobileNets
- 以深度可分离卷积为主体构建网络结构
- 引入两个全局超参数实现准确率与延时性平衡
- 详实的实验验证了MobileNets的高效性
论文精读
1. MobileNet Architecture
Conv:标准卷积
s2:卷积步长stride为2
s1:卷积步长stride为1
Filter Shape:3×3×3×32(Filter大小为3×3;使用的是彩色图像所以输入特征深度为3;32个卷积核)
AvgPool:平均池化
FC:全连接层
将深度卷积和点卷积看做两层,共28层
1.1 卷积块特点
1.引入深度可分离卷积,将普通卷积替换为深度卷积和点卷积
2.除第一个卷积层和最后全连接层之外,所有卷积层后都有BN & ReLU相连