轻量化网络学习 1 MobileNet系列

0、归纳

根据应用需求和资源限制（延迟、大小），提出基于深度可分离卷积为基础的网络，通过设置两个超参数，实现准确率和延时性的平衡，主要致力于优化延迟

1、论文

目标：
1、深度可分离过程&普通卷积
2、了解mobilenet构建、超参数–宽度超参数&分辨率超参数
3、后续版本更新v1，v2，v3

研究意义：
应用于目标检测、目标分类、人脸属性识别、人脸识别
网络是小体积，少计算量，高精度的
1、有需求、有提出动机
大小和速度方面的高效
即使有限制的实时计算
2、现有方法
模型压缩
直接训练一个小型网络，即知识蒸馏

本文的方法：
根据应用需求与资源限制，构建相匹配的小型网络
致力于优化延迟
基于深度可分离卷积构成，通过两个超参数，实现准确率和延时性之间的平衡

模型总览：
1、卷积块的特点
深度卷积实现时注意：输入和分组情况要一致
深度可分离卷积、深度卷积&点卷积、BN、relu。

注意：BN层，计算均值方差归一化，拉回数据分布到原来的尺度，数据在非饱和区域是线性的，线性的拟合能力比较弱
因此完了之后还要进行线性变化，再尽可能变回去，即缩放和平移，提高模型的泛化能力
一共28层（con《1》+深度可分离《13X2》+avgpool+FC《1》+softmax）
2、降采样方式
通过不同的卷积步长来实现降采样
降采样主要发生在第一层和深度卷积上
3、尺寸维度变化
输入输出大小，维度变化—通道数越多可以实现特征信息的大量收集
2242243，输出111024

深度可分离卷积：
1、具体卷积过程
先进行通道卷积再进行点卷积
2、标准卷积
空间上，是卷积核区域与输入图像的特定区域进行连接，稀疏连接
通道上，输出特征的每个元素是通道与通道之间密集连接的结果

超参数设置：
宽度超参数和分辨率超参数

系列改进：
v2版本


v3版本


压缩：顺着空间维度进行压缩。到一个实数，这个实数具有全局感受野，输出的维度和输入的特征数相匹配，并且靠近输入层也有全局感受野
激励：将压缩的结果作为权重乘到每一层上

三个版本对比：
三个版本的创新及创新的作用

总结
关键点：移动计算需求、算法模型基础：日臻成熟的卷积神经网络
创新点：引入深度可分离卷积、引入宽度和分辨率超参数、构建轻量化结构，准确率，速度，大小的平衡
启发点：移动计算的需求、轻量化网络的设计方向、卷积方式的创新、如何评估轻量级网络的效果