卷积 vs. 深度可分离卷积（FLOPs计算量）

FLOPs（FLoat Point OPerations）浮点计算量

1.二维卷积

输入特征图：$(H,W,C_{in})$
卷积核：$(K,C_{out})$，步长为$S$，Padding为$P$
输出特征图：$(H_{out},W_{out},C_{out})$

其中

$H_{out}=(H+2\ast P-K+1)/S$
$W_{out}=(W+2\ast P-K+1)/S$

生成 $H_{out}\ast W_{out}\ast C_{in}$ 个局部大小为$(K,K)$的特征图，与$C_{out}$个$(K,K)$卷积核进行矩阵点乘
一对矩阵点乘的计算量为$K^2$，存在$H_{out}\ast W_{out}\ast C_{in}\ast C_{out}$个同样操作，即可得：

$$FLOPs=((H+2\ast P-K+1)/S\ast (W+2\ast P-K+1)/S\ast C_{in}\ast C_{out})\ast K^2$$

---

2.深度分离卷积

深度可分离卷积实际包括 Depth-wise conv 和 Point-wise conv 两部分

2.1 Depth-wise conv

Depth-wise conv输入的每个通道对应一个独立的卷积核，与其他通道特征无关联；传统卷积所有输入通道与$C_{out}$个卷积核为全连接，因此存在$C_{in}\ast C_{out}$个组合。
简单来说
Conv 为 $n:m$ 关系
Depth-wise conv 为 $1:1$ 关系

输入特征图：$(H,W,C_{in})$
卷积核：$(K,C_{in})$，步长为$S$，Padding为$P$
输出特征图：$(H_{out},W_{out},C_{in})$

其中

$H_{out}=(H+2\ast P-K+1)/S$
$W_{out}=(W+2\ast P-K+1)/S$

计算可得：

$$FLOPs=((H+2\ast P-K+1)/S\ast (W+2\ast P-K+1)/S)\ast (C_{in}\ast K^2)$$

2.2 Point-wise conv

Point-wise conv 核为1x1的卷积操作，可看作是一个线性变换，用于改变特征输出维度（主要用于升维）

输入特征图：$(H_{out},W_{out},C_{in})$
参数：$(1,1,C_{out})$
输出特征图：$(H_{out},W_{out},C_{out})$

其中

$H_{out}=(H+2\ast P-K+1)/S$
$W_{out}=(W+2\ast P-K+1)/S$

计算可得：

$$FLOPs=((H+2\ast P-K+1)/S\ast (W+2\ast P-K+1)/S\ast C_{in})\ast (C_{out})$$

计算量减少

$$\Delta FLOPs=(C_{in}\ast C_{out}\ast K^2-(C_{in}\ast K^2+C_{in}\ast C_{out}))\ast ((H+2\ast P-K+1)/S\ast (W+2\ast P-K+1)/S)$$

---

引用

https://www.cnblogs.com/southtonorth/p/10675688.html