深度学习卷积网络浮点计算量和参数量的计算（附Pytorch代码）

作者 | 涤生
编辑 | 3D视觉开发者社区
✨如果觉得文章内容不错，别忘了三连支持下哦😘~

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

不同的网络算子有不同的计算量，其计算方式也不相同。在卷积神经网络中，主要以卷积层和全连接层为主，其他算子的操作一般比较小，可以忽略不计，算作误差。二者其计算量的计算方式如下：

卷积

$K$表示卷积核大小，$C_{in}$和$C_{out}$表示输入和输出通道数，$H_{out}$和$W_{out}$表示输出特征图大小。

情况一：乘法+加法+bias

其中n个数相加需要n-1次加法运算。
[（$C_{in}$*$K$ * $K$）+（$C_{in}$$K$ * $K$）] * $H_{out}$ * $W_{out}$= 2$C_{in}$$K^2$ * $H_{out}$ * $W_{out}$ * $C_{out}$

情况二：乘法+加法，无bias

[（$C_{in}$*$K$ * $K$）+（$C_{in}$ * ($K$ * $K$-1）+($C_{in}$-1)] * $H_{out}$ * $W_{out}$ * $C_{out}$=( 2$C_{in}$$K^2$ -1) * $H_{out}$ * $W_{out}$ * $C_{out}$

情况三：乘法，不计入加法
[（$C_{in}$*$K$ * $K$） * $H_{out}$ * $W_{out}$ * $C_{out}$= $C_{in}$$K^2$ * $H_{out}$ * $W_{out}$ * $C_{out}$

参数量：
$C_{in}$*$K_h$ *$K_w$ * $C_{out}$

全连接层

$I$表示输入维度，$O$表示输出维度

情况一：乘法+加法+bias

($I$+$I$)*$O$=2$I$$O$

情况二：乘法+加法，无bias

($I$+$I$-1)*$O$=(2$I$-1) * $O$

情况三：乘法，不计入加法

$I$*$O$=$I$$O$

参数量：

$I$*$O$

计算代码–以PyTorch框架为例

第一个推荐的计算库是 thop, 简单好用

① 安装：

推荐从作者的github直接安装最新版本。

1 pip install --upgrade git+https://github.com/Lyken17/pytorch-OpCounter.git

② 使用：

1 #计算
2 from torchvision.models import resnet50
3 from thop import profile
4 model = resnet50()
5 dummy_input = torch.randn(1, 3, 224, 224)
6 macs, params = profile(model, inputs=(dummy_input, ))
7 #输出
8 from thop import clever_format
9 macs, params = clever_format([macs, params], "%.3f")

第二个推荐微软的nni包

nni中有个计算网络模型计算量和参数量的小工具，使用起来也非常简单，并能输出每一层的计算量和参数量。

① 安装：

1 pip install --upgrade nni

② 使用：

1 from torchvision.models import resnet18
2 from nni.compression.pytorch.utils.counter import  count_flops_params
3 model = resnet18()
4 dummy_input = torch.randn(1, 3, 224, 224)
5 flops, params, results = count_flops_params(model, dummy_input)

总结：

浮点计算量在一定程度上能估计模型的计算复杂度，但是却不一定能代表真实的推理时间。

这主要是因为，不同的硬件或框架对不同算子的优化程度不同，即使计算量大但计算速度也可能比较快，所以FLOPs这一指标只是网络计算复杂度的一个参考，有理论意义。

本文作者原创于知乎，内容有参考https://www.zhihu.com/question/65305385的回答。

版权声明：本文为奥比中光3D视觉开发者社区特约作者授权原创发布，未经授权不得转载，本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。

点击加入3D视觉开发者社区，和开发者们一起讨论分享吧~
也可移步微信关注官方公众号：3D视觉开发者社区 ，获取更多干货知识哦~