mobileNetV1网络解析，以及实现（pytorch）(1)

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

上面的图片展示了普通卷积和分组卷积的不同，下面我们通过具体的例子来看。

普通卷积

===============================================================

标准卷积运算量的计算公式：

F L O P s = ( 2 × C 0 × K 2 − 1 ) × H × W × C 1 {FLOPs }=\left(2 \times C_{0} \times K^{2}-1\right) \times H \times W \times C_{1} FLOPs=(2×C0​×K2−1)×H×W×C1​

计算公式参考：深度学习之（经典）卷积层计算量以及参数量总结 （考虑有无bias，乘加情况） - 琴影 - 博客园 (cnblogs.com)

参数量计算公式： K 2 × C 0 × C 1 K^{2} \times C_{0} \times C{1} K2×C0​×C1

C 0 C_{0} C0​ :输入的通道。

K：卷积核大小。

H,W：输出 feature map的大小

C 1 C_{1} C1​：输出通道的大小。

bias=False,即不考虑偏置的情况有-1，有True时没有-1。

举例：

输入的尺寸是227×227×3，卷积核大小是11×11，输出是6，输出维度是55×55，

我们带入公式可以计算出

参数量：

1 1 2 × 3 × 6 11^2 \times 3 \times 6 112×3×6=2178

运算量：

2 × 3 × 1 1 2 × 55 × 55 × 6 2 \times 3 \times11^{2}\times 55\times 55 \times 6 2×3×112×55×55×6=13176900

分组卷积

===============================================================

分组卷积则是对输入feature map进行分组，然后每组分别卷积。

假设输入feature map的尺寸仍为 C 0 × H × W C_{0}\times H \times W C0​×H×W，输出feature map的数量为 C 1 C_{1} C1​个，如果设定要分成G个groups，则每组的输入feature map数量为 C 0 G \frac{C_{0}}{G} GC0​​，每组的输出feature map数量为 C 1 G \frac{C{1}}{G} GC1​，每个卷积核的尺寸为 C 0 G × K × K \frac{C_{0}}{G}\times K \times K GC0​​×K×K，卷积核的总数仍为 C 1 C_{1} C1​个，每组的卷积核数量为 C 1 G \frac{C{1}}{G} GC1​，卷积核只与其同组的输入map进行卷积，卷积核的总参数量为 N × C 0 G × K × K N\times \frac{C_{0}}{G}\times K \times K N×GC0​​×K×K，总参数量减少为原来的 1 G \frac{1}{G} G1​。

计算量公式：

[ ( 2 × K 2 × C 0 / g + 1 ) × H × W × C o / g ] × g \left[\left(2 \times K^{2} \times C_{0} / g +1\right) \times H \times W \times C_{o} / g\right] \times g [(2×K2×C0​/g+1)×H×W×Co​/g]×g

分组卷积的参数量为：

K ∗ K ∗ C 0 g ∗ C 1 g ∗ g K * K * \frac{C_{0}}{g} * \frac{C_{1}}{g} * g K∗K∗gC0​​∗gC1​​∗g

举例：

输入的尺寸是227×227×3，卷积核大小是11×11，输出是6，输出维度是55×55，group为3

我们带入公式可以计算出

参数量：

1 1 2 × 3 3 × 6 3 × 3 11^2 \times \frac{3}{3} \times \frac{6}{3} \times 3 112×33​×36​×3=726

运算量：

[ ( 2 × 1 1 2 × 3 / 3 + 1 ) × 55 × 55 × 6 / 3 ] × 3 \left[\left(2 \times 11^{2} \times3 / 3 +1\right) \times 55 \times 55 \times 6 / 3\right] \times 3 [(2×112×3/3+1)×55×55×6/3]×3=2205225

深度可分离卷积（Depthwise separable conv）

============================================================================================

设输入特征维度为 D F × D F × M D_{F}\times D_{F}\times M DF​×DF​×M，M为通道数， D k D_{k} Dk​为卷积核大小，M为输入的通道数， N为输出的通道数,G为分组数。

当分组数量等于输入map数量，输出map数量也等于输入map数量，即M=N=G，N个卷积核每个尺寸为$D_{k}\times D_{k}\times 1 $时，Group Convolution就成了Depthwise Convolution。

逐点卷积就是把G组卷积用conv1x1拼接起来。如下图：

深度可分离卷积有深度卷积+逐点卷积。计算如下：

• 深度卷积：设输入特征维度为 D F × D F × M D_{F}\times D_{F}\times M DF​×DF​×M，M为通道数。卷积核的参数为 D k × D k × 1 × M D_{k}\times D_{k}\times 1 \times M Dk​×Dk​×1×M。输出深度卷积后的特征维度为： D F × D F × M D_{F}\times D_{F}\times M DF​×DF​×M。卷积时每个通道只对应一个卷积核（扫描深度为1），所以 FLOPs为： M × D F × D F × D K × D K M\times D_{F}\times D_{F}\times D_{K}\times D_{K} M×DF​×DF​×DK​×DK​

• 逐点卷积：输入为深度卷积后的特征，维度为 D F × D F × M D_{F}\times D_{F}\times M DF​×DF​×M。卷积核参数为 1 × 1 × M × N 1\times1\times M\times N 1×1×M×N。输出维度为 D F × D F × N D_{F}\times D_{F}\times N DF​×DF​×N。卷积过程中对每个特征做 1 × 1 1 \times 1 1×1的标准卷积， FLOPs为： N × D F × D F × M N \times D_{F} \times D_{F}\times M N×DF​×DF​×M

将上面两个参数量相加就是 D k × D k × M + M × N D_{k} \times D_{k} \times M+M \times N Dk​×Dk​×M+M×N

所以深度可分离卷积参数量是标准卷积的 D K × D K × M + M × N D K × D K × M × N = 1 N + 1 D K 2 \frac{D_{K} \times D_{K} \times M+M \times N}{D_{K} \times D_{K} \times M \times N}=\frac{1}{N}+\frac{1}{D_{K}^{2}} DK​×DK​×M×NDK​×DK​×M+M×N​=N1​+DK2​1​

mobileNetV1

======================================================================

详见论文翻译：

https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/122692846

mobileNetV1的网络结构如下图.前面的卷积层中除了第一层为标准卷积层外，其他都是深度可分离卷积（Conv dw + Conv/s1），卷积后接了一个7*7的平均池化层，之后通过全连接层，最后利用Softmax激活函数将全连接层输出归一化到0-1的一个概率值，根据概率值的高低可以得到图像的分类情况。

pytorch版本

---

import torch

import torch.nn as nn

import torchvision

def BottleneckV1(in_channels, out_channels, stride):

return nn.Sequential(

nn.Conv2d(in_channels=in_channels,out_channels=in_channels,kernel_size=3,stride=stride,padding=1,groups=in_channels),

nn.BatchNorm2d(in_channels),

nn.ReLU6(inplace=True),

nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=1, stride=1),

nn.BatchNorm2d(out_channels),

nn.ReLU6(inplace=True)

)

class MobileNetV1(nn.Module):

def init(self, num_classes=1000):

super(MobileNetV1, self).init()

self.first_conv = nn.Sequential(

nn.Conv2d(in_channels=3,out_channels=32,kernel_size=3,stride=2,padding=1),

nn.BatchNorm2d(32),

nn.ReLU6(inplace=True),

)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！