MobileNetV1（2017）论文笔记

MobileNets: Efficient Convolutional Neural Networks for Mobile VisionApplications

MobileNets：用于移动视觉应用的高效卷积神经网络

摘要

我们提出了一类名为MobileNets的高效模型，用于移动和嵌入式视觉应用。MobileNets是基于一个精简的架构，使用深度可分离卷积来构建轻量级的深度神经网络。我们引入了两个简单的全局超参数，在延迟和准确性之间进行有效的权衡。这些超参数允许模型构建者根据问题的限制为他们的应用选择合适的模型。我们对资源（resourse）和准确率的权衡进行了广泛的实验，并在ImageNet分类上显示了与其他流行模型相比的强大性能。然后，我们展示了MobileNets在广泛的应用和使用案例中的有效性，包括物体检测、细粒度分类、人脸属性和大规模的地理定位。

• 两个简单的全局超参数:
  Width Multiplier：Thinner Models (α·作用在通道数上)
  Resolution Multiplier: Reduced Representation（ρ作用在特征图size上）
• 资源（resourse)：latency（计算量和运算时间）,size（参数量）

一、创新点

• 引入深度可分离卷积
• 引入两个超参数

1. 引入深度可分离卷积

原来的标准卷积操作（both filter and combine）拆分为两步：

• 深度卷积（depthwise convolutions）for filtering
• 逐点卷积 （pointwise convolutions.）for combining
  
  好处：
• 可以大大减少参数量和计算量，同时精度只下降一点点。
• 模型的计算量主要集中在1*1的卷积运算, 而1*1的卷积运算本身相当于做了高度优化的GEMM（矩阵相乘运算)，计算速度快
  

• K:是kernel ；F是feature map；D是size；M是通道数，N是卷积和的个数
• 如果是3*3的kernel，相当于降到原来的1/9

2. 引入两个超参数

让模型 smaller and faster

• Width Multiplier($\alpha$): Thinner Models
  • 所有层的通道数乘以$\alpha$ 参数，模型参数量（size）近似下降到原来的 ${\alpha }^2$ 倍
  • ${\alpha }^2$∈(0,1] with typical settings of 1, 0.75, 0.5 and 0.25，降低模型的width
• Resolution Multiplier( $\rho$): Reduced Representation
  • feature map的size乘以 $\rho$ 参数，等价于所有层的分辨率乘$\rho$，计算量下降到原来的 ${\rho }^2$倍（与模型参数数量无关）
  • ρ∈(0,1]，降低feature map的size
    

二、模型结构

1.Block

深度可分离卷积中的两层后面都跟有BN和ReLU

2. Model 结构

• 用stride=2降采样
• 用1*1卷积核升通道数

训练：对深度卷积使用very little or no weight decay (l2 regularization)
因为这里的参数量少

三、实验

1、model choice

数据集：ImageNet

使用深度可分离卷积的MobileNet 只比使用标准卷积的Conv MobileNet 精度降低一点点，但参数量和计算量少很多
使用Width Multiplier($\alpha$)减少模型width，比直接减少模型层数效果好

2、缩小model的超参数

• Figure4 看的是计算量，受到两个因素影响α和resolutions
• 16 models α ∈ {1, 0.75, 0.5, 0.25}and resolutions {224, 192, 160, 128}.

• Figure5 看的是参数量，只受α的影响，
• 可以看出高一点的分辨率效果会好一点

3、细腻度分类（Fine Grained Recognition）

almost achieve the state of the art results from [18] at greatly reduced computation and size.

4、大规模的地理定位（Large Scale Geolocalizaton）

delivers only slightly decreased performance compared to PlaNet despite being much more compact. Moreover, it still outperforms Im2GPS by a large margin.

5、脸属性（Face Attributes）

the MobileNet-based classifier is resilient to(对…有弹性) aggressive model shrinking

6、Object Detection

MobileNet achieves comparable results to other networks with only a fraction of computational complexity and model size.

7、Face Embeddings

利用FaceNet 做distillation蒸馏

总结

继续MobileNetV2

单词记录
light weight 轻量
efficiently trade off between 在。之间有效的权衡
based on 根据，一般可做状语（主语的动作）
constraint 限制
for 动作的方向（主语的等）为
present extensive experiments 进行大量的实验
use cases 用例
finegrain classification 细粒度分类
large scale geo-localization 大规模地理定位
Model Shrinking 模型收缩
a wide variety of tasks 各种各样的任务
concluded by 最后
close with 最后
superior 卓越的
latency 延迟
less computationally expensive models 计算成本较低
uniformly 均匀的，一致的
roughly 粗糙的
ubiquitous 普遍存在的；无所不在的
subsequently 随后
sequentially 从而，循序的
a timely fashion 及时
build out of 从。中构建
factorized 因式分解
topological 拓扑
Independent 独立
scale up 扩大规模
structured 结构化的
emerging 新兴的
interaction 相互作用
substantial 大量的
count… as 把什么算作
general 通用的
algebra 代数
numerical 数值的
asynchronous 异步
amount 总计
regardless of 不考虑
save 节省
the log linear dependence 对数线性关系
achieve the state of the art results 取得最先进的成果
cast… as 将… 作为
esoteric 难懂的，限于圈内人的
synergistic 协同作用的
emulate 模仿
scalability 可扩展性
evident 明显的
is resilient to 对… 是有弹性的
achieves comparable results to other networks 实现了与其他网络相当的结果