轻量级网络--MobileNet V1、V2、V3(学习记录；完善ing)

Colinnnn2

已于 2024-03-09 20:43:50 修改

阅读量2.5k

点赞数 4

分类专栏：论文阅读文章标签：网络深度学习神经网络

于 2023-01-17 19:45:04 首次发布

本文链接：https://blog.csdn.net/qq_43308156/article/details/128259838

版权

本文深入研究了MobileNet系列的轻量级网络架构，包括V1的深度可分离卷积、V2的线性瓶颈层与逆残差结构，以及V3的新激活函数h-swish和SENet。通过对超参数的调整，MobileNet在保持高准确率的同时，显著降低了计算复杂度，适合于移动和嵌入式设备。实验结果显示，MobileNet在ImageNet数据集上实现了速度与准确率的良好平衡，为轻量级神经网络的发展做出了贡献。

摘要由CSDN通过智能技术生成

参考文献：MobileNets: Efficient ConvolutionalNeural Networks for Mobile Vision Applications
作者：Andrew G. Howard, Menglong Zhu, et al
单位：Google
发表会议及时间：CVPR 2017

前言

1. 前期知识储备

卷积操作： 掌握CNNs具体卷积过程,熟悉卷积核的参数意义

ResNet： 了解残差网络基本结构，残差块的构成

激活函数： 了解激活函数的意义和优缺点

2. 学习目标

熟悉深度可分离卷积过程，体会其优势

掌握MobileNet构建方式，了解超参数概

了解后续版本创新点

代码复现MobileNet结构

在这里插入图片描述

研究背景

《动机》

自AlexNet以来，神经网络倾向于更深更复杂的网络结构，但不一定在时间和内存大小上高效

实际应用环境中，需要在有限的算力下实时计算

在这里插入图片描述

《现有方法》

模型压缩：在已经训练好的模型上进行压缩，使得网络携带更少的网络参数

直接训练一个小型网络：从改变网络结构出发，设计出更高效的网络计算方式，从而使网络参数减少的同时,不损失网络的性能。

在这里插入图片描述

《本文方法》

提出了一类新型网络架构,根据应用需求与资源限制(延迟,大小)，构建相匹配的小型网络

MobileNets主要致力于优化延迟，但也可以产生小型网络

MobileNets主要基于深度可分离卷积(depthwise separable convolutions)构成，通过设置两个超参数，实现准确率和延时性之间的平衡

研究成果

在ImageNet数据集上，在参数量减少了三十多倍的条件下，准确率与VGG16相近，只相差了0.9%（Table 8）

在这里插入图片描述

在更小结构的MobileNet中，在参数量减少了四十多倍的条件下，性能超越了Alexnet，top-1 accuracy达到60.24%，体现了本文方法的高效性。
MobileNet实现了速度与准确率的高效平衡（Table 9）

在这里插入图片描述

《MobileNet意义》

以MobileNet为代表的网络，可以在移动终端实现众多的应用,包括目标检测，目标分类，人脸属性识别和人脸识别等，使移动终端、嵌入式设备运行神经网络模型成为可能

MobileNet拥有更小的体积，更少的计算量，更高的精度。在轻量级神经网络中拥有极大的优势

作为谷歌推出的开源框架，该论文引用超3700次,并推出后续v2,v3版本,推动了轻量级网络的进一步发展。

论文结构

在这里插入图片描述

摘要

提出了针对移动和嵌入式视觉应用的高效神经网络MobileNets

以深度可分离卷积为主体构建网络结构

引入两个全局超参数实现准确率与延时性平衡

详实的实验验证了MobileNets的高效性

论文精读

在这里插入图片描述

1. MobileNet Architecture

在这里插入图片描述

Conv：标准卷积
s2：卷积步长stride为2
s1：卷积步长stride为1
Filter Shape：3×3×3×32(Filter大小为3×3；使用的是彩色图像所以输入特征深度为3；32个卷积核)
AvgPool：平均池化
FC：全连接层
将深度卷积和点卷积看做两层，共28层