CNN模型中卷积的一些计算--参数量，FLOPs

feature map经卷积后的大小：
conv: $\frac{h-f+2p}{s}+1$ —$f$: kernel size; $p$: padding; $s$: stride
dilated conv: $\frac{h+2p-(f-1)\times d}{s}+1$ — $d$: dilated
pooling: $\frac{h-f}{s}+1$

receptive filed计算（从前往后）：
$L_k=L_{k-1}+(f_k-1)\times \prod _{i=1}^{k-1}{s}_i$
其中：$L_{k-1}$–上一层的感受野，$f_k$—核大小，$s_i$—stride

普通卷积

参数量是参与计算参数的个数，占用内存空间。
考虑输入通道$C_{in}$和输出通道$C_{out}$， 参数量$（C_{in}\times (K\times K)+1）\times C_{out}$

计算量（乘加次数）
MAC(Multiply Accumulate)，需要考虑输出map的大小，1个MAC算两次操作。
考虑输入通道$C_{in}$和输出通道$C_{out}$，计算量$（C_{in}\times (K\times K)\times H\times W）\times C_{out}$
其中，$K$—kernel size; $H,W$—the size of output feature map;

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。----是一个衡量硬件性能的指标。
FLOPs：注意s小写，是floating point operations的缩写，意指浮点运算数，理解为计算量。----衡量算法/模型的复杂度。

不考虑activation function的运算：
则卷积层： $(2\times C_{in}\times K^2-1)\times H\times W\times C_{out}$ <不考虑bias时有-1，有bias时没有-1>
其中，$C_{in}$—input channel; $C_{out}$—output channel; $K$—kernel size; $H,W$—the size of output feature map; 2表示一个MAC操作。

全连接层： $(2\times I-1)\times O$
其中，$I$—input neuron numbers; $O$—output neuron numbers。

深度可分离卷积

对于不同的输入channel采取不同的卷积核进行卷积，它将普通的卷积操作分解为
Depthwise 过程(指将 N×H×W×C的输入分为 group=c 组，然后每一组做 3×3 卷积。这样相当于收集了每个Channel的空间特征，即Depthwise特征)
和Pointwise 过程(对 N×H×W×C 的输入做 n个普通的 1×1 卷积。这样相当于收集了每个点的特征，即Pointwise特征)。
Depthwise+Pointwise最终输出也是 N×H× W× n。
Depthwise计算量：$C_{in}\times H\times W\times K^2$ --K=3
Pointwise计算量： $C_{in}\times H\times W\times C_{out}$
相当于将普通卷积的计算量压缩为：
$\frac{Depthwise+Pointwise}{Conv}=\frac{C_{in}\times H\times W\times K^2+C_{in}\times H\times W\times C_{out}}{C_{in}\times K^2\times H\times W\times C_{out}}=\frac{1}{C_{out}}+\frac{1}{K^2}$

1. 有一个基于pytorch的torchstat包，可以计算模型的FLOPs数，参数大小等指标。
   安装------pip install torchstat

from torchstat import stat
stat(model, (3, 224, 224)) # 模型及输入的大小

虽然torchstat的功能十分强大，但是也有一些缺陷：
  1. 限制模型输入仅能为图片
  2. 限制模型每一个layer的输入须为单个变量
  3. 对Pytorch-0.4.1及以下版本的支持不足

2. thop
   安装------pip install thop

from thop import profile
from thop import clever_format

input = torch.randn(1, 3, 224, 224)
flops, params = profile(model, inputs=(input, ))
print(flops, params) # 1819066368.0 11689512.0
flops, params = clever_format([flops, params], "%.3f")
print(flops, params) # 1.819G 11.690M

3. torchsummary
   pip install torchsummary

from torchsummary import summary

device = torch.device("cuda" if torch.cuda.is_available() else "cpu") 
model = Net.to(device)

summary(model, (3, 256,256))