深度可分离卷积（Depthwise Seperable Convolution）与Mobilenet

最新推荐文章于 2024-08-21 21:06:11 发布

AIIIIZ

最新推荐文章于 2024-08-21 21:06:11 发布

阅读量7.4k

点赞数 11

分类专栏：卷积文章标签：卷积 mobilenet Depthwise Seperable Convolutio 深度可分离卷积

本文链接：https://blog.csdn.net/aaa_aaa1sdf/article/details/89756494

版权

卷积专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、标准卷积流程：

一次性完成，输入为 $DF \times DF \times M$ ，过滤器为 $DK \times DK \times M$ (个数为N)，输出为 $DG \times DG \times N$

计算量为： $DK \times DK \times M \times DG \times DG \times N$

二、深度可分离卷积（Depthwise Seperable Convolution）流程：

分两步完成，分别为Depthwise Conv 和 Pointwise Conv

1. Depthwise Conv：filtering stage

输入为 $DF \times DF \times M$ ，过滤器为 $DK \times DK \times 1$ (个数为M)，输出为 $DG \times DG \times M$

计算量为： $DK^{2} \times 1 \times DG^{2} \times M$

2. Pointwise Conv：combination stage

输入为 $DG \times DG \times M$ ，过滤器为 $1 \times 1\times M$ (个数为N)，输出为 $DG \times DG \times N$

计算量为： $1\times 1 \times M \times DG \times DG \times N$

总计算量为： $DK^{2} \times DG^{2} \times M + M\times DG^{2}\times N$

三、Depthwise Seperable Conv 和 Std.Conv 对比

1. 计算量对比

$\frac{Depthwise Seperable Conv}{Std.Conv} = \frac{DK^{2} \times DG^{2} \times M + M \times DG^{2} \times N}{DK^{2} \times M \times DG^{2} \times N} = \frac{1}{N} + \frac{1}{DK^{2}}$

2. Depthwise Seperable Conv 比Std.Conv 的参数、计算时间少；同时对同一个模型架构，精度略低一点；

3. Depthwise Seperable Conv 分两步完成卷积： Depthwise Conv 和 Pointwise Conv

四、两个参数再次缩小模型

相对于基准模型，mobilenet可以提供两个参数：width multiplier 和 resolution multiplier。

1. width multiplier（宽度乘子）：更薄的模型，按比例减少通道数，即深度，该参数记为 $\alpha$ ，其取值范围为(0,1]。那么输入与输出通道数将变成 $\alpha M$ 和 $\alpha N$ ，计算量变为： $DK^{2} \times DG^{2} \times \alpha M + \alpha M\times DG^{2}\times \alpha N$ ；结果是参数量减少，计算量也减少。

2. resolution multiplier（分辨率乘子）：分辨率更低的模型，按比例降低图的大小，记为 $\rho$ ；例如输入特征图是224x224，可以减少为192x192；计算量为： $DK^{2} \times (\rho DG)^{2} \times \alpha M + \alpha M\times (\rho DG)^{2}\times \alpha N$ ；结果是参数量不变，计算量减少。