标准卷积 & 深度可分离卷积 & 分组卷积的参数个数计算和计算代价

标准卷积

标准卷积是一个一气呵成的操作，卷积核维度有四个维度，输入通道 数* 输出通道数 * 卷积核尺寸H * 卷积核尺寸W
假设：
输入feature map是一个尺寸为 Wi * Hi，输入通道数为Ci的张量X，
输出feature map是一个尺寸为Wo * Ho，输出通道数为Co的张量Y，
假设核张量是K，其形状为Co * Ci * Wk * Hk

那么参数数量为：
Wk * Hk * Ci * Co
参数数量只跟卷积核大小（Wk * Hk * Ci）和卷积核个数有关
Because 卷积操作是共享权重

计算代价为：
Wk * Hk * Ci * Co * Wo * Ho
because 卷积操作是局部连接
Wk * Hk * Ci * Co 得到的是输出map的一个点的数据，输出feature map共有Wo * Ho个点

深度可分离卷积

深度可分离卷积将标准的卷积操作分解为两步。

假设 核张量是Wk * Hk *Ci

1. 先对输入的各个通道执行滤波，输出尺寸为Wo * Ho，输出通道数与输入通道数相同，参数数量是Wk* Hk* Ci，计算代价为 Wo * Ho * Ci * Wk * Hk
2. 然后对各个通道滤波得到的feature map做1 * 1卷积， 输出通道数是Co。参数数量是1 * 1 * Ci * Co（注意这里与常规卷积操作相同，唯一不同的是卷积核大小变成 1 * 1），计算代价为 Ci * Wo * Ho * Co。

上述深度可分离两步的相加结果 = 常规卷积的结果

深度可分离卷积参数总量：
Wk* Hk* Ci + Ci * Co
约为常规卷积的
1/Co + 1/Wk * Hk

深度可分离卷积计算代价总量：
Wo * Ho * Ci * Wk * Hk + Ci * Wo * Ho * Co
约为常规卷积的
1/Co + 1/Wk * Hk

通常卷积核采用3x3 卷积，而Co >>9，因此深度可分离卷积的参数数量和计算代价都是常规卷积的1/8 - 1/9

深度可分离卷积与Xception块区别

1.操作顺序不同：
深度可分离卷积首先执行channel-wise空间卷积，然后再执行1 * 1卷积。
Xception块首先执行1 * 1卷积，然后进行channel-wise空间卷积。

2.第一次卷积操作之后是否存在非线性：
深度可分离卷积只有第二个卷积1*1卷积使用了ReLU非线性激活函数，channel-wise空间卷积不使用非线性激活函数。
Xception块的两个卷积都使用了ReLU非线性激活函数。

分组卷积

如上图，假设输入feature map的尺寸仍C∗H∗W，输出feature map的数量为N个，如果设定要分成G个groups，则每组的输入feature map数量为C/G，每组的输出feature map数量为N/G，每个卷积核的尺寸为C/G∗K∗K，卷积核的总数仍为N个，每组的卷积核数量为N/G，卷积核只与其同组的输入map进行卷积。
参数数量：
C/G * K * K * N

计算代价：

C/G * K * K * H * W
可见，总参数量减少为原来的 1/G。
http://www.sohu.com/a/317166403_394987
http://www.sohu.com/a/317166403_394987