MobileNets 轻量级网络 从v1到v3

MobileNet v1

由谷歌2017年提出，可谓是大放异彩。深度学习的理论和实践的快速发展，项目落地越来越被更多的研究人员关注，而手机端的应用尤为重要，这就使得轻量级的网络变得至关重要，一个好的轻量级网络不但要在参数上达到轻量的需求，精度上也要表现优异。

深度可分离卷积

为什么第一个要写它？因为总结一句话，MobileNet v1就是把VGG中的卷积都换成了深度可分离卷积，就是这么的简单粗暴。

分离卷积主要被分为 空间可分离卷积 和 深度可分离卷积。

• 空间可分离卷积： 主要是在卷积核上的操作。详细的说，是将一个33的卷积核，拆分成一个13和一个3*1。
• 深度可分离卷积（depthwise separable Conv）：其主要划分为两步 深度卷积（Depthwise Conv）和 逐点卷积（Pointwise Conv）。

• 深度卷积其实就是将其对每个channel单独进行卷积。逐点卷积就是用1*1的Conv来进行相应的特征提取【换句话说，也就是通道数的扩张】
• 还有一个不同是采用的是ReLU6，这个激活函数在6的时候有一个边界，论文中提到说这样“可以在低精度计算下具有更强的鲁棒性”。

MobileNet v2

不少学者也开始关注MobileNet v1，不过不少学者发现在深度卷积中，不少卷积核是空的&#