MobileNetV2: Inverted Residuals and Linear Bottlenecks

文章：https://arxiv.org/abs/1801.04381
代码：https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

1 摘要

本文的核心思想是提出了一个新的模块结构：Inverted residual with linear bottleneck，不像普通的bottleneck结构是对输入先压缩再扩张回去，Inverted residual with linear bottleneck是对输入先扩张再压缩，并且移除了最后的Relu6激活函数，使用线性激活。

2 核心思想

自己原来的理解狗屁不通，这里借鉴一下别人的理解，下面内容全部摘抄自：https://zhuanlan.zhihu.com/p/70703846

上面的例子说明了，将输入数据映射到低维空间，Relu后的结果进行反向映射丢失了很多信息。深度可分离卷积得到的特征对应于低维空间(不知道为什么？)，特征较少，如果使用Relu激活函数，则会破坏特征，造成特征的损耗，从而使得模型的效果较差，因此去掉了最后一层的Relu激活。
再次声明：本文摘抄自：https://zhuanlan.zhihu.com/p/70703846