0、归纳
根据应用需求和资源限制(延迟、大小),提出基于深度可分离卷积为基础的网络,通过设置两个超参数,实现准确率和延时性的平衡,主要致力于优化延迟
1、论文
目标:
1、深度可分离过程&普通卷积
2、了解mobilenet构建、超参数–宽度超参数&分辨率超参数
3、后续版本更新v1,v2,v3
研究意义:
应用于目标检测、目标分类、人脸属性识别、人脸识别
网络是小体积,少计算量,高精度的
1、有需求、有提出动机
大小和速度方面的高效
即使有限制的实时计算
2、现有方法
模型压缩
直接训练一个小型网络,即知识蒸馏
本文的方法:
根据应用需求与资源限制,构建相匹配的小型网络
致力于优化延迟
基于深度可分离卷积构成,通过两个超参数,实现准确率和延时性之间的平衡
模型总览:
1、卷积块的特点
深度卷积实现时注意:输入和分组情况要一致
深度可分离卷积、深度卷积&点卷积、BN、relu。
注意:BN层,计算均值方差归一化,拉回数据分布到原来的尺度,数据在非饱和区域是线性的,线性的拟合能力比较弱
因此完了之后还要进行线性变化,再尽可能变回去,即缩放和平移,提高模型的泛化能力
一共28层(con《1》+深度可分离《13X2》+avgpool+FC《1》+softmax)
2、降采样方式
通过不同的卷积步长来实现降采样
降采样主要发生在第一层和深度卷积上
3、尺寸维度变化
输入输出大小,维度变化—通道数越多可以实现特征信息的大量收集
2242243,输出111024
深度可分离卷积:
1、具体卷积过程
先进行通道卷积再进行点卷积
2、标准卷积
空间上,是卷积核区域与输入图像的特定区域进行连接,稀疏连接
通道上,输出特征的每个元素是通道与通道之间密集连接的结果
超参数设置:
宽度超参数和分辨率超参数
系列改进:
v2版本
v3版本
压缩:顺着空间维度进行压缩。到一个实数,这个实数具有全局感受野,输出的维度和输入的特征数相匹配,并且靠近输入层也有全局感受野
激励:将压缩的结果作为权重乘到每一层上
三个版本对比:
三个版本的创新及创新的作用
总结
关键点:移动计算需求、算法模型基础:日臻成熟的卷积神经网络
创新点:引入深度可分离卷积、引入宽度和分辨率超参数、构建轻量化结构,准确率,速度,大小的平衡
启发点:移动计算的需求、轻量化网络的设计方向、卷积方式的创新、如何评估轻量级网络的效果