深度可分离卷积

cv研究僧

已于 2022-04-16 20:40:19 修改

阅读量1.1k

点赞数 1

分类专栏：网络模块网络结构文章标签：算法计算机视觉卷积神经网络

于 2022-03-27 16:56:50 首次发布

本文链接：https://blog.csdn.net/qq_44785998/article/details/123776390

版权

网络模块同时被 2 个专栏收录

4 篇文章 1 订阅

订阅专栏

网络结构

2 篇文章 0 订阅

订阅专栏

写在前面：

Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution

一、Depthwise 卷积

传统的卷积，比如(1, 3, 64, 64) 与 kernel_size = （3，3）的卷积核进行卷积，需要在三个通道上同时计算，计算量很大，但是depthwise卷积，则把卷积核分成3个，每一个卷积核分别与输入进行卷积计算，节省了大量时间。

缺点：

1.丢失了空间信息，使卷积计算变得独立，原本是结合三个通道上的信息进行卷积，现在使不同通道间变得独立

2.不能修改卷积的输出通道（在nn.Conv2d()中需要设置groups = in_channel）

二、Pointwise 卷积

1.卷积核大小为 1*1*M ,M为输入的通道数，这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Feature map，输出通道数 = 使用的卷积核个数

2.可以修改输出的通道

数学依据如下：

设输入特征图尺寸： $D_{F}$ * $D_{F}$ , 卷积核尺寸 $D_{K}$ * $D_{K}$ ，输入通道数 M，输出通道数 N

在传统的卷积运算中，需要运用乘法的次数： $D_{F}^{2}\times D_{K}^{2}\times M \times N$

在深度可分离卷积中，分为两个部分。

第一部分：每个通道进行同一个滤波器的深度卷积 $D_{F}^{2}\times D_{K}^{2}\times M$

第二部分：使用 1×1（点方向）卷积滤波器来获得深度卷积的输出并对其进行组合 $D_{F}^{2}\times M \times N$

减少的计算量：

$\frac{D_{K} \times D_{K} \times D_{F} \times D_{F} \times M + D_{F} \times D_{F} \times M \times N}{D_{K} \times D_{K} \times D_{F} \times D_{F} \times M \times N} = \frac{1}{N} + \frac{1}{D_{K}^{2}}$

代码如下：

from torch import nn

class separableconv(nn.Module):
    def __init__(self, in_ch, out_ch, stride):
        super(separableconv, self).__init__()
        self.depth_conv = nn.Conv2d(
            in_channels=in_ch,
            out_channels=in_ch,
            kernel_size=3,
            stride=stride,
            padding=1,
            groups=in_ch
        )
        self.point_conv = nn.Conv2d(
            in_channels=in_ch,
            out_channels=out_ch,
            kernel_size=1,
            stride=1,
            padding=0,
            groups=1
        )

    def forward(self, input):
        out = self.depth_conv(input)
        out = self.point_conv(out)
        return out

侵权删