【深度学习常见问题——模型参数量】

模型参数量

衡量标准

模型参数量用个数来衡量，参数量为600M，则以为着模型有600M个参数。一般默认模型采用FP32的精度进行存储，也就是1个参数用32位(bit)存储，也就是说，600M个参数需要用$600M\ast 32=19200M$的bit进行存储，也就是需要$\frac{600M\ast 32}{8}=2400M$字节(Byte)进行存储。
简记： 参数量：所占字节数 = 1：4

常见的单位换算：
8bit = 1Byte（字节）
1kb = 1024Btye
1Mb = 1024kb
1Gb = 1024Mb

参数计算

1. 对卷积层$Conv(C_{in},C_{out},K_h,K_w)$

$Params=Param{s}_w+Param{s}_b=C_{in}\ast C_{out}\ast K_k\ast K_w+C_{out}$

2. 对FC层$Linear(N_{in},N_{out})$

$Params=Param{s}_w+Param{s}_b=N_{in}\ast N_{out}+N_{out}$

参考资料：
1.神经网络模型计算量 & 参数量 解释_小幸运-程序员资料
2.模型大小 与参数量计算_华为云_ 风吹稻花香的博客
3.字节、KB、MB、GB 之间的换算关系 Bps和bps的区别_CSDN_wust小吴的博客