深度学习Backbone网络系列（三）

最新推荐文章于 2024-06-01 15:14:39 发布

王吉吉丫

最新推荐文章于 2024-06-01 15:14:39 发布

阅读量504

点赞数

分类专栏： Backbone

本文链接：https://blog.csdn.net/weixin_42410915/article/details/116046430

版权

本文深入探讨了MobileNet系列（包括v1, v2, v3）和DenseNet的网络结构与创新点。MobileNet以深度可分离卷积为核心，通过宽度和分辨率参数实现模型瘦身，而MobileNet-v2引入了反向残差块与ReLu6激活。DenseNet则利用密集连接和过渡层实现信息高效流动，同时在资源约束下保持高精度。" 8020359,1301859,寻找与N互质数的和,"['数论', '算法', '数学问题', '欧拉函数']

摘要由CSDN通过智能技术生成

MobileNet-v1

原论文

论文中指出：目前的研究可总结为两个方向：一是对训练好的复杂模型进行压缩得到小模型；二是直接设计小模型进行训练。不管怎样，目的均是在保持模型性能的前提下降低模型尺寸，同时提升模型速度。MobileNet属于后者，是Google提出的一种小而高效的CNN模型，在精度和速度之间做了折中。

MobileNet的基本单元是深度可分离卷积（depthwise seperable convolution），此结构在已运用于Inception中。分为两步：depthwise convolution和pointwise convolution，如论文中的图2所示。Depthwise是针对每个输入通道采用不同的卷积核(此处不同是指卷积核值不同，尺寸是相同的)，每个卷积核对应一个输入通道，所以depthwise convolution是depth级别的卷积操作。而pointwise convolution本质是普通卷积，只是卷积核的尺寸为1×1。总结：先用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwise convolution将depthwise卷积输出结合。其实最终效果和普通卷积差不多，但是大大减少了参数量、计算量。

计算量分析。对于普通卷积，假设输入特征图大小为，输出特征图的大小为，那么计算量为（即，原论文中的式(2)）。对于深度可分离卷积，输入和输出特征图尺寸不变，那么depthwise convolution的计算量为（即，原论文中的式(3)），pointwise convolution的计算量为，那么总计算量为（即，原论文中的式(5)）。比较两者的区别：