MobileNet V2

MobileNet V2 是对于MobileNet 的改进 此模型的主要特点是使用了 inverted residual 和 linear bottleneck 对于MobileNet本身的特点 使用Depthwise Separable Convolutions 被保留了下来 而在ResNeXt ShuffleNet 等网络非常有效的shortcuts 被引入了本结构。首先是对于bottleneck的改进 这里在原先MobileNet的Depthwise Separable convolutions基础上 加了一层1*1的卷积层形成bottleneck结构。 这里有个假设 神经网络中的manifold可以嵌入低维子空间中，这样通过加宽卷积层的通道数能够降低激活空间的维度 直至感兴趣的manifold充满整个空间。这样就有了 扩大-提取特征-压缩的bottleneck步骤。但是由于激活函数如ReLU的非线性计算 导致丢失了一部分信息 这是我们不想看到的 所以 在提压缩之后 没有使用非线性激活函数 而是选用了线性的来保护信息。这种扩大-提取特征-压缩的方式与residual 正好相反 于是叫做 inverted residual。文章相比于mobilenet和ShuffleNet都减小了参数和存储空间 这里我一开始没弄明白既然加了一层卷积 又是有扩大的操作 为何参数会变小 结果发现相对于mobilenet的layer output通道数都减小了 达到了减小计算量的目的。效果和其他几个网络接近但参数量很小 分别在分类 语义分割等方向有不错的效果。

对于文章中的manifold假设那部分一直没怎么看懂 结果看到同学发给我的博客 三言两语就将这篇文章讲的非常透彻和便于理解 非常佩服