神经网络参数量的计算

简介

参数量就是指，模型所有带参数的层的权重参数总量。视觉类网络组件中带参数的层，主要有：卷积层、BN层、全连接层等。（注意：激活函数层(relu等)和Maxpooling层、Upsample层是没有参数的，不需要学习，他们只是提供了一种非线性的变换）

卷积层

$K^2\times C_i\times C_o\times +C_o$
其中 $K$为卷积核大小， $C_i$为输入channel数， $C_o$为输出的channel数(也是filter的数量)，算式第二项是偏置项的参数量 。(虽然一般不写偏置项，因为不会影响总参数量的数量级，但是我们为了准确起见，把偏置项的参数量也考虑进来）

BN层

$2\times C_i$
其中$C_i$为输入的channel数。BN层有两个需要学习的参数，平移因子和缩放因子。

全连接层

$T_i\times T_o+T_o$
其中$T_i$为输入向量的长度， $T_o$为输出向量的长度，其中第二项为偏置项参数量。不过目前全连接层已经逐渐被Global Average Pooling层取代了。