MobileNet-v2

本文是自己学习后加入自己理解的总结记录，方便自己以后查看，参考文章链接放在下面

【轻量级网络】MobileNet-v2详解

---

学习前言

一起来学习MobileNet-v2的原理

---

论文：《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》
论文链接：https://arxiv.org/abs/1801.04381
论文中文链接：MobileNetV2: Inverted Residuals and Linear Bottlenecks论文（中文版）_Bing*的博客-CSDN博客
前文链接：MobileNet-v1详解
参考文章链接：https://blog.csdn.net/Roaddd/article/details/111416386

概述

          MobileNet-v2的主要思想就是在v1的基础上引入了线性瓶颈 (Linear Bottleneck)和逆残差 (Inverted Residual)来提高网络的表征能力，同样也是一种轻量级的卷积神经网络。MobileNet-v1的主要思想就是深度可分离卷积，如果对这个方面不太了解的话，可以参考我的另一篇文章，链接已放在文章开头。

结构问题：MobileNet-v1的结构非常简单，类似于VGGNet，是一个非常复古的直筒结构。这种结构的性价比其实不高，后续一系列的ResNet、DenseNet等结构已经证明通过复用图像特征，使用Concat/Elwise+等操作进行融合，能极大提升网络的性价比。
       Depthwise convolution存在的问题：Depthwise convolution确实是大大降低了计算量，Depthwise+Pointwise的结构在性能上也能接近普通卷积。但是在实际应用时我们发现Depthwsie部分的kernel比较容易训废掉，训练完之后发现Depthwise训出来的kernel有不少是空的。因为depthwise每个kernel_dim相对于普通卷积要小得多，过小的kernel_dim加上ReLU的激活影响下，使得输出神经元很容易变为0，所以就学废了。ReLU对于0的输出梯度为0，所以一旦陷入0输出，就没法恢复了。