深度学习:轻量级神经网络MoblieNet 从v1 到 v2
MobileNet V1
前言
MobileNet是谷歌团队在2017年提出的,专注于移动端和嵌入式设备的轻量级CNN网络,相比于传统卷积,相比于传统卷积网络,在准确率小幅降低的情况下大大减少了参数量与运算量。
它的主要贡献就是提出了深度可分离卷积与增加超参数alpha 与 beta。
深度可分离卷积
传统卷积
首先我们来回顾一下传统卷积操作如上图,input的channel 为3,那么每个卷积核的channel一定为3,卷积核的数量为4,output 的channel的也一定为4。
对于普通的卷积操作,它既可以融合每个平面(平面指HW维度)的特征也可以融合channel的特征。
Depth Wise Conv
接下来介绍DW卷积,这里input channel还是为3,但是每个卷积核的channel变成了1,只负责input 的一个 channel(以前每个卷积核的channel与input channel一致),这样卷积操作过后就只融合了平面的特征,而没有融合channel特征。
Point Wise Conv
为了弥补空间特征,作者在depth wise conv 后面加入了 point wise conv,其实他就是传统的卷积操作,只不过 kernel size 为 1,那么他就会只融合了channel特征。
性能对比
这里作者把深度可分离卷积分为 DW + PW,下面我们来比较一下它们的计算量:
在这里 Dk代表kernel size ,DF代表feature map的 H or W, M为input channel N为卷积核数量。
MobileNet V2
前言
MobileNet V2 是谷歌团队2018年提出的网络,相比于MobileNet V1。
主要改进
Inverted Residuals Block
Residual Block
首先我们回顾传统的残差块,它是由一个 1 * 1的卷积降维+ 3 * 3 卷积 + 1* 1卷积升维。(激活函数与BN省略)
Expansion Layer
倒残差结构如上图,他是先用 1 * 1卷积升维+DW卷积 + 1* 1卷积降维。
ReLU6
作者把ReLU激活函数换成了ReLU6,y的数值不在随着x的增长而增长,到6之后不再变化。
原因:
由于ReLU的值域是0到正无穷,在低精度浮点数下不能很好的表示,于是改成了ReLU6可以增加模型的稳定性。
这里所说的“低精度”,我看到有人说不是指的float16,而是指的定点运算(fixed-point arithmetic)。
Linear Activation Function
作者通过证明,对低维度做ReLU运算,很容易造成信息的丢失。而在高维度进行ReLU运算的话,信息的丢失则会很少。
所以作者把最后1 * 1卷积降维后的激活函数换成线性激活函数。
小结
把上面内容汇聚到一起,于是就有了如下模块:
这里注意只有stride =1 的时候才有残差模块,因为要保证输入矩阵特征与输出矩阵特征一致才可以执行add操作。