十五天掌握CNN——MobileNet

MobileNet

1. 专为移动端和嵌入式深度学习应用设计的网络结构。
2. Aim：得到在较低配置资源具有很好效果的特性。
3. 主要特点：轻量化 和 直接使用stride=2的卷积代替池化层。
4. 主要创新点：引入 纵向可分离卷积，分解为两个更小的卷积操作：深度卷积 和 逐点卷积。Aim：降低参数量和计算量。

工作过程

1. 输入特征图(DF,DF,M)，输出特征图(DG,DG,N)。
2. 标准卷积核为(DK,DK,M,N)。
3. 标准卷积分解为 深度卷积 和 逐点卷积。
4. 深度卷积：负责滤波作用（基于输入的feature map提取更高阶的特征），核的大小(Dk,Dk,1,M)。
5. 逐点卷积：负责转换通道（合并之前的高阶特征信息，形成最终的feature map）,核的大小(1,1,M,N)。

标准卷积

标准卷积计算过程：
标准卷积计算量：

标准卷积过程：合并所有输入通道的卷积结果。

深度卷积

深度卷积计算过程：
深度卷积计算量：
深度卷积过程：对每个输入的通道分别卷积，得到不同的输出卷积结果。

逐点卷积

逐点卷积计算量：
减少计算量：
逐点卷积过程：类似普通的1×1卷积操作。由于深度卷积过程对于每个feature map单独提取特征。所以通过将多个输入的feature map的特征融合来简化。

参数：宽度因子α

1. Width Mulitiplier：控制模型大小。用于控制输入和输出的通道数。将输入通道从M变为αM，输出通道从N变为αN。
2. α取值：0.25,0.5,0.75,1.0
3. 计算量和参数量降低约α^2倍。

参数：分辨率因子ρ

1. Resolution Multiplier：控制模型大小。用于控制输入和内部层的表示，控制输出层的分辨率。
2. 输入通道常用值：128,、160、192、224。ρ取值范围：(0,1]
   
   

MobileNet V2

1. 引入shortcut结构，残差结构。
2. 使用1×1卷积在depthwise之前进行feature map扩增。
3. 在pointwise后使用Linear激活函数，代替ReLU激活函数。防止特征被破坏。