FLOPs如何计算

Chen_Chance

已于 2024-03-15 15:17:13 修改

阅读量5.8k

点赞数 5

分类专栏：深度学习文章标签：深度学习

于 2023-10-30 14:38:54 首次发布

本文链接：https://blog.csdn.net/qq_44154915/article/details/134117792

版权

深度学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

如何使用Python计算深度学习模型的FLOPs

在深度学习领域，了解模型的计算复杂度是非常重要的。FLOPs（每秒浮点运算次数）为我们提供了一种衡量标准，可以帮助我们评估模型在不同硬件上的运行效率。本文将介绍如何使用Python来计算深度学习模型的FLOPs，以及通过一个简单的例子来说明这一过程。

FLOPs简介

FLOPs指的是模型执行所需的浮点运算次数，这通常用于衡量模型的计算复杂度。计算FLOPs有助于理解模型的性能和硬件要求，尤其在处理大规模数据集和复杂网络结构时尤为重要。

计算步骤

要计算一个深度学习模型的FLOPs，我们通常遵循以下步骤：

分析模型结构：了解模型中包含的不同类型的层（如卷积层、全连接层等）。
确定层的参数：对于每一层，找出其关键参数，如输入/输出通道数、卷积核尺寸、输出特征图的维度等。
计算每层的FLOPs：根据层的类型和参数，使用适当的公式计算该层的FLOPs。
累加FLOPs：将所有层的FLOPs相加，得到模型的总FLOPs。

示例：计算模型的FLOPs

我们的目标模型包括一个卷积层、一个池化层和一个全连接层。

考虑一个简化的模型，具有以下结构：

卷积层（conv1）
- 输入通道数：3
- 输出通道数：64
- 卷积核尺寸：3x3
- 输出特征图的维度：128x128
池化层（pool）
- 操作不涉及乘法或加法浮点运算，故此处FLOPs计算为0。但注意，某些情况下，比较操作可能被计入。
全连接层（fc1）
- 输入特征数：262144 (这是一个示例值，实际值取决于池化层之后的特征图尺寸，这里假设是全展开的)
- 输出特征数：10

计算步骤

卷积层FLOPs：
- 使用之前的公式，我们可以计算卷积层的FLOPs。
池化层FLOPs：
- 这里我们假设FLOPs为0，因为池化通常不涉及浮点运算。
全连接层FLOPs：
- 对于全连接层，FLOPs可以简单地通过乘以输入特征数和输出特征数再乘以2（每个连接包含一次乘法和一次加法）来计算。

接下来，让我们使用Python代码来实现这些计算步骤。

# 卷积层参数
input_channels_conv = 3
output_channels_conv = 64
kernel_height_conv = 3
kernel_width_conv = 3
output_height_conv = 128
output_width_conv = 128

# 全连接层参数 (这里使用了一个示例输入特征数，实际数值应基于模型结构)
input_features_fc = 262144
output_features_fc = 10

# 卷积层FLOPs计算
FLOPs_conv = 2 * input_channels_conv * output_channels_conv * kernel_height_conv * kernel_width_conv * output_height_conv * output_width_conv

# 池化层FLOPs (这里假设为0)
FLOPs_pool = 0

# 全连接层FLOPs计算
FLOPs_fc = 2 * input_features_fc * output_features_fc

# 总FLOPs
total_FLOPs = FLOPs_conv + FLOPs_pool + FLOPs_fc

print(f"卷积层FLOPs: {FLOPs_conv}")
print(f"池化层FLOPs: {FLOPs_pool}")
print(f"全连接层FLOPs: {FLOPs_fc}")
print(f"模型总FLOPs: {total_FLOPs}")

卷积层FLOPs: 56623104
池化层FLOPs: 0
全连接层FLOPs: 5242880
模型总FLOPs: 61865984

这段代码给出了一个基础的框架，用于计算给定模型结构的FLOPs。请注意，全连接层的输入特征数需要根据实际的模型结构来确定，这里用了一个假设值。

计算FLOPs的代码或包

如果您想利用torchstat来自动计算PyTorch模型的FLOPs，可以遵循下面的步骤。torchstat是一个用于PyTorch模型的性能分析工具，它可以帮助您快速得到模型的FLOPs以及其他有用的指标，如参数数量和内存占用。

安装torchstat

首先，确保您已经安装了torchstat。如果还没有安装，可以通过以下命令进行安装：

pip install torchstat

准备模型

在使用torchstat之前，您需要有一个已定义的PyTorch模型。这里，我们将使用一个非常简单的卷积神经网络示例作为演示。

import torch
import torch.nn as nn
from torchstat import stat

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2, padding=0)
        self.fc1 = nn.Linear(64 * 64 * 64, 10) # 假设输入图像大小为128x128

    def forward(self, x):
        x = self.pool(torch.relu(self.conv1(x)))
        x = x.view(-1, 64 * 64 * 64)
        x = self.fc1(x)
        return x

注意：在使用torchstat之前，请确保模型的定义与您想要分析的任务相符，特别是输入层和全连接层的维度。

使用torchstat计算FLOPs

接下来，您可以使用torchstat的stat函数来分析模型。您需要指定模型(model)和输入数据的尺寸(input_size)。

model = SimpleCNN()
stat(model, (3, 128, 128))

torchstat将会输出模型的详细统计信息，包括每层的参数数量、FLOPs以及模型的总体性能指标。

      module name  input shape output shape     params memory(MB)          MAdd         Flops  MemRead(B)  MemWrite(B) duration[%]   MemR+W(B)
0           conv1    3 128 128   64 128 128     1792.0       4.00  56,623,104.0  29,360,128.0    203776.0    4194304.0      66.64%   4398080.0
1            pool   64 128 128   64  64  64        0.0       1.00     786,432.0   1,048,576.0   4194304.0    1048576.0      16.64%   5242880.0
2             fc1       262144           10  2621450.0       0.00   5,242,870.0   2,621,440.0  11534376.0         40.0      16.72%  11534416.0
total                                        2623242.0       5.00  62,652,406.0  33,030,144.0  11534376.0         40.0     100.00%  21175376.0
==============================================================================================================================================
Total params: 2,623,242
----------------------------------------------------------------------------------------------------------------------------------------------
Total memory: 5.00MB
Total MAdd: 62.65MMAdd
Total Flops: 33.03MFlops
Total MemR+W: 20.19MB

使用torchstat来计算深度学习模型的FLOPs，提供了一个自动化的方式来评估模型的计算复杂度。在你提供的输出中，torchstat不仅给出了FLOPs，还包括了其他一些重要的性能指标，如参数数量、内存使用量以及读写内存的量等。

关于不同计算结果的原因

你所观察到的差异源于手动计算FLOPs与torchstat给出的结果之间的不同定义和计算方法。特别是，这种差异可能来自于如何精确定义和计算"FLOPs"，以及是否所有相关操作都被考虑在内。让我们来解析这些差异的可能原因：

FLOPs的定义：
- 在手动计算中，我们可能将FLOPs定义为执行特定层操作所需的乘法和加法操作的总和。例如，卷积层的FLOPs计算考虑了每个卷积操作涉及的乘法和加法。
- torchstat或其他工具可能有自己的FLOPs计算方法，可能只考虑乘法操作或在计算中使用不同的标准。此外，某些工具可能在计算总FLOPs时采用不同的方法来处理特定类型的层或操作。
计算精度和细节：
- 手动计算通常依赖于公式和对模型结构的简化理解，可能无法完全捕捉到实际实现中的所有细节。例如，池化层通常被认为不涉及浮点运算，但实际上的实现可能包括某种形式的计算，这在自动化工具的计算中可能被考虑进去。
- 自动化工具如torchstat能够直接分析模型的实际实现，更准确地识别和计算涉及的操作。因此，它们可能会捕获手动方法忽略的细节。
池化层和全连接层的处理：
- 在你的手动计算中，池化层的FLOPs被假定为0，这是基于池化操作通常不涉及乘法或加法运算的常规假设。然而，实际的FLOPs计算可能需要考虑到其他类型的运算（如比较操作）。
- 全连接层的FLOPs计算是直接的，但实际的FLOPs值可能取决于具体实现的细节，比如是否有额外的优化措施被应用。

总结

两种方法给出不同结果的根本原因在于FLOPs的定义差异、计算的精确性、以及模型的具体实现细节。虽然手动计算提供了一个大致的估计，但自动化工具能够提供更接近实际执行情况的精确度。因此，当比较不同来源的FLOPs计算结果时，重要的是要了解各种计算背后的假设和方法。在实际应用中，使用专门的工具，如torchstat，可以提供更全面和精确的性能评估。