backbone（1）：mobilenet

1.mobileNet

轻量级神经网络
mobileNet v3 论文连接：
https://arxiv.org/pdf/1905.02244.pdf.

(1)mobileNet v1

model：将VGG标准卷基层替换成深度可分离卷积

网络模型：VGG中Conv改为SeparableConv
激活层：用Relu6 = min(max(0,x),6)

(2)mobileNet v2

v1问题：深度卷积部分的卷积核比较容易训废掉：训完之后发现深度卷积训出来的卷积核有不少是空的
原因：Relu:对低维度做ReLU运算，很容易造成信息的丢失。而在高维度进行ReLU运算的话，信息的丢失则会很少。这就解释了为什么深度卷积的卷积核有不少是空。
例如：深度可分离卷积，先降维度，再升维度。低维转高维时，可能有像素点值为0（密集到稀疏，容易丢掉像素值。）

1.使用linear bottleneck

把最后的那个ReLU6换成Linear

2.Expansion layer

扩张”通道：PW逐点卷积也就是1×1卷积可以用来升维和降维，那就可以在DW深度卷积之前使用PW卷积进行升维（升维倍数为t，t=6），再在一个更高维的空间中进行卷积操作来提取特征：

3.Inverted residuals

类似残差连接的struct结构
ResNet 先降维 (0.25倍)、卷积、再升维。
MobileNetV2 则是 先升维 (6倍)、卷积、再降维。

（3）mobilenet v3

“searching”一词就把V3的论文的核心观点展示了出来——用神经结构搜索（NAS）来完成V3

0.网络的架构基于NAS实现的MnasNet（效果比MobileNetV2好）

MnasNet是一个比MobileNet精度和实时性更高的模型

1.引入MobileNetV1的深度可分离卷积

2.引入MobileNetV2的具有线性瓶颈的倒残差结构

3.引入基于squeeze and excitation结构的轻量级注意力模型(SE)

利用结合特征通道的关系来加强网络的学习能力

4.使用了一种新的激活函数h-swish(x)

Swish

Swish具备无上界有下界、平滑、非单调的特性。并且Swish在深层模型上的效果优于ReLU。仅仅使用Swish单元替换ReLU就能把MobileNet,NASNetA在 ImageNet上的top-1分类准确率提高0.9%，Inception-ResNet-v的分类准确率提高0.6%。

h-swish
V3认为使用swish虽提高精度，但花费成本大，使用h-swish

5.网络结构搜索中，结合两种技术：资源受限的NAS（platform-aware NAS）与NetAdapt

主要结合两种技术：资源受限的NAS（platform-aware NAS）与NetAdapt。

资源受限的NAS，用于在计算和参数量受限的前提下搜索网络来优化各个块（block），所以称之为模块级搜索（Block-wise Search） 。

NetAdapt，用于对各个模块确定之后网络层的微调每一层的卷积核数量，所以称之为层级搜索（Layer-wise Search）。

6.修改了MobileNetV2网络端部最后阶段

使用1×1卷积来构建最后层，这样可以便于拓展到更高维的特征空间。这样做的好处是，在预测时，有更多更丰富的特征来满足预测，但是同时也引入了额外的计算成本与延时。需要改进的地方就是要保留高维特征的前提下减小延时。
用1×1的avgpooling代替7×7的avgpooling

（4）总结

V1：VGG+SeparableConv
V2：VGG+SeparableConv+逆残差+
V3：VGG+SeparableConv+逆残差+Swish-h+最后平均池化改变+SE
通过NAS搜索

（5）作为basebone进行网络修改

（1）应用在目标检测中，作为basebone，作为fpn的输入。

（2）large
stride = 2 会改变 feature map大小。以stride=2为界限划分
C5：最后pooling层之前的feature map
C4：13-th（第13层）
C3：6-th

（3）small
C5：最后pooling层之前的feature map
C4：9-th
C3：4-th