本文为 AI 研习社编译的技术博客,原标题 :
A Basic Introduction to Separable Convolutions
作者 | Chi-Feng Wang
翻译 | 通夜、秃了少年头 编辑 | 王立鱼、Pita
原文链接:
https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728
任何看过MobileNet架构的人都会遇到可分离卷积(separable convolutions)这个概念。但什么是“可分离卷积”,它与标准的卷积又有什么区别?可分离卷积主要有两种类型:
-
空间可分离卷积(spatial separable convolutions)
-
深度可分离卷积(depthwise separable convolutions)
空间可分离卷积
从概念上讲,这是两者中较容易的一个,并说明了将一个卷积分成两部分(两个卷积核)的想法,所以我将从这开始。 不幸的是,空间可分离卷积具有一些显着的局限性,这意味着它在深度学习中没有被大量使用。
空间可分卷积之所以如此命名,是因为它主要处理图像和卷积核(kernel)的空间维度:宽度和高度。 (另一个维度,“深度”维度,是每个图像的通道数)。
空间可分离卷积简单地将卷积核划分为两个较小的卷积核。 最常见的情况是将3x3的卷积核划分为3x1和1x3的卷积 核,如下所示:
图1:在空间上分离3x3内核
现在,我们不是用9次乘法进行一次卷积,而是进行两次卷积,每次3次乘法(总共6次),以达到相同的效果。 乘法较少,计算复杂性下降,网络运行速度更快。