轻量级网络（二）：MobileNet V2

MobileNet V2

文献：MobileNetV2: Inverted Residuals and Linear Bottlenecks

创新点

1. 【线性瓶颈（Linear Bottlenecks）】。V2 去掉了第二个 PW 的激活函数。
2. 【反转残差单元（Inverted residuals）】。V2 在 DW 卷积之前新加了一个 PW 卷积。

Linear Bottlenecks

论文里面做了这么一个实验，如下图。普遍意义上来说，非线性激活单元会造成信息的丢失，要缓解这种丢失，非线性单元输入维度应尽可能的高。

图1 嵌入高维空间中的低维流形的ReLU转换示例。 在这些示例中，使用随机矩阵T和ReLU将初始螺线嵌入到n维空间中，然后使用T -1（逆）投影回2D空间。 在上面的示例中，n = 2,3导致信息丢失，其中流形的某些点彼此折叠，而对于n = 15到30，则转换是高度非凸的。

Inverted residuals

正常的残差单元，是先将输入降维（0.25倍），再卷积，再升维，而反转残差单元是先将输入升维（6倍），再卷积，再降维。ResNet 的基本组件结构