【计算机视觉】GFLOPs、FLOPS和FLOPs的区别和联系（含代码示例）

这三个概念其实都差不多，都涉及浮点运算，但是还是有一些小的不同之处，下面简单总结一下:

一、GFLOPs、FLOPs、FLOPS

GFLOPS 就是 Giga Floating-point Operations Per Second,即每秒10亿次的浮点运算数,常作为GPU性能参数但不一定代表GPU的实际表现，因为还要考虑具体如何拆分多边形和像素、以及纹理填充，理论上该数值越高越好。1GFLOPs = $10^9$FLOPs。

FLOPs 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。常用当然还有GFLOPs和TFLOPs

FLOPS （全部大写）是floating-point operations per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。

二、单位换算

• MFLOPS（megaFLOPS）：等于每秒一百万（=$10^6$）次的浮点运算
• GFLOPS（gigaFLOPS）：等于每秒十亿（=$10^9$）次的浮点运算
• TFLOPS（teraFLOPS）：等于每秒一万亿（=$10^{12}$）次的浮点运算，(1太拉)
• PFLOPS（petaFLOPS）：等于每秒一千万亿（=$10^{15}$）次的浮点运算
• EFLOPS（exaFLOPS）：等于每秒一百京（=$10^{18}$）次的浮点运算
• ZFLOPS（zettaFLOPS）：等于每秒十万京（=$10^{21}$）次的浮点运算

三、如何计算FLOPs

其中就是指计算量的大小，表示FLOPs。对于卷积层而言，FLOPs计算公式如下：

$$\text{FLOPs}=2HW(C_{in}{K}^2+1)C_{out}$$
其中的$C_{in}$是指卷积层输入tensor的通道数，$C_{out}$指的是卷积层输出tensor的通道数。$K$指的是卷积核大小。

而后把常数项去掉，简化操作：
$$\text{FLOPs}=HW(C_{in}{K}^2)C_{out}$$
而在实际中，我们不可能自己计算FLOPs，所以，有相关计算FLOPs的三方库，一个是torchstat，一个是thop。

经过测试，基本上两个可以对齐的，任意选择一个就好。

四、计算示例

我们使用thop库来计算resnet50模型的计算量：

import torch
from thop import profile
from torchvision.models import resnet50

model = resnet50()
input1 = torch.randn(4, 3, 224, 224) 
flops, params = profile(model, inputs=(input1, ))
print('FLOPs = ' + str(flops / 1000 ** 3) + 'G')

输出结果为：

[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
[INFO] Register count_normalization() for <class 'torch.nn.modules.batchnorm.BatchNorm2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.pooling.MaxPool2d'>.
[INFO] Register zero_ops() for <class 'torch.nn.modules.container.Sequential'>.
[INFO] Register count_adap_avgpool() for <class 'torch.nn.modules.pooling.AdaptiveAvgPool2d'>.
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
FLOPs = 16.534970368G