假设有一个 3×3 大小的卷积层,其输入通道为 16、输出通道为 32,通常的做法是用 32 个 3×3 的卷积核来分别同输入数据卷积,这样每个卷积核需要 3×3×16 个参数,得到的输出是只有一个通道的数据。
参数量为:(3×3×16)×32 =4068
深度可分离卷积的做法:
1)用 16 个 3×3 大小的卷积核(1 通道)即每个卷积核大小为3*3*1,分别与输入的 16 通道的数据做卷积。
2)接着用 32 个 1×1 大小的卷积核(16 通道)即每个卷积核大小为 1*1*16,在这 16 个特征图进行卷积运算,将 16 个通道的信息进行融合(用 1×1 的卷积进行不同通道间的信息融合)
参数量为: 3×3×16+(1×1×16)×32 =656
深度可分离卷积的优点:
1)减少参数。可以看出运用深度可分离卷积比普通卷积减少了所需要的参数。
2)实现了通道和区域的分离。重要的是深度可分离卷积将以往普通卷积操作同时考虑通道和区域改变成,卷积先只考虑区域,然后再考虑通道。