【MobileNet-V2】深度学习模型压缩之MobileNetv2

论文名称	深度学习模型压缩之MobileNetv2
作者	miclover
参考	https://blog.csdn.net/u010712012/article/details/95922901 https://zhuanlan.zhihu.com/p/35405071 https://arxiv.org/pdf/1801.04381.pdf https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet
书摘
V1版本存在的问题： 问题1：ReLU造成的低维度数据坍塌(collapses)         作者举例：将一个二维的螺旋结构先使用随机矩阵映射到m维度，在使用这个随机矩阵的逆矩阵映射回二维空间，来看一下在 ReLU使用过程中造成的问题。       当n = 2,3,5时，与Input相比有很大一部分的信息已经丢失了。而当n = 15~30，还是有相当多的地方被保留了下来。 也就是说，对低维度做ReLU运算，很容易造成信息的丢失。而在高维度进行ReLU运算的话，信息的丢失则会很少。       这就解释了为什么深度卷积的卷积核有不少是空。发现了问题，我们就能更好地解决问题。针对这个问题，可以这样解决：既然是ReLU导致的信息损耗，将ReLU替换成线性激活函数。   问题2：没有复用特征        在神经网络训练中如果某个卷积节点权重的值变为0就会“死掉”。因为对于任意输入，该节点的输出都是0。而ReLU对0值的梯度是0，所以后续无论怎么迭代这个节点的值都不会恢复了。而通过ResNet结构的特征复用，可以很大程度上缓解这种特征退化问题。
思考
文中对于MobileNet 第二个版本主要工作创新点： 1、Linear bottleneck   2、Expansion layer 3、Inverted residuals： 先升维 (6倍)、卷积、再降维 最终：        V1:类似于VGG结构 作为网络基本结构        V2:Linear Bottlenecks+Inverted residual block作为网络基本结构 网络结构：