Params and FLOPs

Billie使劲学

已于 2022-08-25 15:47:30 修改

阅读量1.3k

点赞数 1

分类专栏：深度学习文章标签：目标检测人工智能机器学习计算机视觉

于 2022-07-05 17:46:20 首次发布

本文链接：https://blog.csdn.net/m0_45447650/article/details/125623507

版权

深度学习专栏收录该内容

31 篇文章 8 订阅

订阅专栏

1.FLOPS、FLOPs和GFLOPs的辨析

2.参数量的计算

3.FLOPs的计算

1.FLOPS、FLOPs和GFLOPs的辨析

辨析：FLOPS、FLOPs和GFLOPs

FLOPS：全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，可以理解为计算速度。是一个衡量硬件性能的指标
FLOPs：s小写，是floating point operations的缩写（s表负数），意指浮点运算数，可以理解为计算量。用来衡量算法或模型的复杂度
GFLOPs：1GFLOPs = $10^{9}$ FLOPs（10亿次）

2.参数量的计算

卷积层： $C_{out}\times (C_{in}\times K^{2}+1)$
其中， $C_{out}$ 代表输入的通道数， $C_{in}$ 代表输出的通道数， $K^{2}$ 为卷积核的大小，若卷积核有偏置项（Bias）则＋1，没有则不加。若卷积核为方形则。

简化为： $K^{2}\times C_{in}\times C_{out}$

BN层： $2C_{in}$

池化层：池化层不需要计算参数量

全连接层： $(C_{in}+1)\times C_{out}$

其中， $C_{in}$ 表示输入通道；K表示卷积核大小； $C_{out}$ 表示输出通道数。

3.FLOPs的计算

卷积层： $[C_{in}\times K^{2}+(C_{in}\times K^{2}-1)+1]\times H\times W\times C_{out}$

其中 $C_{in}\times K^{2}$ 为一次卷积的乘法预算的计算量， $C_{in}\times K^{2}-1$ 为一次卷积加法运算的计算量，+1为偏置项，W与H为输出特征图的长和宽。
可简化为： $2\times C_{in}\times K^{2}\times H\times W\times C_{out}$
计算机视觉中常把一次乘法和加法合在一起，所以可以去掉前面乘的2。

故为 $C_{in}\times K^{2}\times H\times W\times C_{out}$

池化层： $H\times W\times C_{in}$

全连接层： $[C_{in}+(C_{in}-1)+1]\times C_{out}=2\times C_{in}\times C_{out}$
(其中 $C_{in}$ 为一次乘法， $C_{in}-1$ 为一次加法，+1为加上一个偏置项)

其中， $C_{in}$ 表示输入通道；K表示卷积核大小；HW表示输出特征图尺寸； $C_{out}$ 表示输出通道数。

什么是MAC？

MAC（Memory Access Cost，内存访问成本），计算机在进行计算时要加载到缓存中，然后再计算，这个加载过程是需要时间的。其中，分组卷积是对MAC消耗比较多的操作

Billie使劲学

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
0
评论
Params and FLOPs

目录1.FLOPS、FLOPs和GFLOPs的辨析2.参数量的计算 3.FLOPs的计算卷积层：其中，代表输入的通道数，代表输出的通道数，为卷积核的大小，若卷积核有偏置项（Bias）则＋1，没有则不加。若卷积核为方形则。简化为：池化层：池化层不需要计算参数量全连接层：其中，表示输入通道；K表示卷积核大小；表示输出通道数。卷积层：其中为一次卷积的乘法预算的计算量，为一次卷积加法运算的计算量，+1为偏置项，W与H为输出特征图的长和宽。可简化为：计算机视觉中常把一次乘法和加法合在一起，所以可以去掉前
复制链接

扫一扫