如何计算模型的FLOPs

最新推荐文章于 2024-05-31 17:46:56 发布
最新推荐文章于 2024-05-31 17:46:56 发布
阅读量3.4k 收藏 20
点赞数
分类专栏： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LemonTree_Summer/article/details/102580326
版权 
pip install thop

先配置环境，如上。

    from torchvision.models import resnet50
    from thop import profile
    model = resnet50()
    input = torch.randn(1, 3, 224, 224)
    flops, params = profile(model, inputs=(input, ))
    print('flops:', flops)
    print('params:', params)

输入的batch，channel以及大小不同，打印出来的flops也不同，个人猜测论文里呈现的都是对一张Image的flops，若有不对希望可以得到更正。打印出来的结果是下面酱婶儿的：

Register FLOP counter for module Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module MaxPool2d(kernel_size=3, stride=2, padding=1, dilation=1, ceil_mode=False)
Register FLOP counter for module Conv2d(64, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(64, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(256, 64, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(64, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(256, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(512, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(512, 1024, kernel_size=(1, 1), stride=(2, 2), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(256, 1024, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(1024, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 2048, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(2048, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(1024, 2048, kernel_size=(1, 1), stride=(2, 2), bias=False)
Register FLOP counter for module BatchNorm2d(2048, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(2048, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 2048, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(2048, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module Conv2d(2048, 512, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module Conv2d(512, 2048, kernel_size=(1, 1), stride=(1, 1), bias=False)
Register FLOP counter for module BatchNorm2d(2048, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
Register FLOP counter for module ReLU(inplace)
Register FLOP counter for module AvgPool2d(kernel_size=7, stride=1, padding=0)
Register FLOP counter for module Linear(in_features=2048, out_features=1000, bias=True)
flops: 4135703552.0
params: 25557032.0

 

LemonTree_Summer
关注
  • 0
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
计算模型的FLOPs
weixin_47569171的博客
07-21 2562
为了探究影响模型运行时间的变量，之前运用了参数量做标准 参数量在TF框架下还是很容易计算的 TF框架下运用 tf.keras.models.Model().summary() 就能一键生成包含模型的layers，output，parameters的报告 为了探究其他标准用于反映模型的运行时间，我们在网上找到了三个标准： 参数量（parameters） 浮点运算次数（FLOPs） 内存访问次数（MAC） 这次我们就来探究FLOPs对模型latency的影响 一上来先踩坑 TF2.X取消了Profiler接
PyTorch和Keras计算模型参数的例子
09-18
了解和计算模型的参数数量对于优化资源利用、调整模型复杂度以及监控训练过程至关重要。今天我们将深入探讨如何在PyTorch和Keras中计算模型参数。 在PyTorch中，模型的参数是以`torch.nn.Parameter`对象的形式存储...
模型flops 的计算方法
keyanxiaocaicai的专栏
07-30 2527
insightface 里面的计算flops 的方法 在：下面的flops_counter.py pythonflops_counter.py 可以得到需要的flops 从代码上可以看到 计算两部分的flops 一部分是卷积的flops 另外一部分是fc 层的flops attr 表示有没有偏置 我们打印出来卷积里面的input_shape 和output_shape cov层的flops 的计算公式为： -1 是对于没有偏置的情况 kernel 一般是方形的 kernel[0] .
深度学习11 — ResNet-50 算法实战与解析
最新发布
TOMWilliamLIN的博客
05-31 1329
ResNet-50 算法实战与解析
在Pytorch中计算自己模型的FLOPs方式
09-18
今天小编就为大家分享一篇在Pytorch中计算自己模型的FLOPs方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
FLOPs如何计算
chen的博客
10-30 4563
FLOPs（Floating Point Operations Per Second）是一个用于衡量计算机系统、硬件或算法性能的单位，表示每秒执行的浮点运算次数。FLOPs的计算可以帮助评估机器学习模型或算法的计算复杂度，以确定其在不同硬件上的效率。FLOPs的计算通常取决于模型的结构以及每个层或操作的输入和输出维度。然后，根据该层或操作执行的具体数学运算来计算FLOPs。将所有层或操作的FLOPs相加，以获得整个模型的总FLOPs。输入层没有浮点运算，所以FLOPs为0。
如何计算模型的复杂度（参数量，FLOPs）
RessCris的博客
02-03 2177
全连接层就理解为一个矩阵，矩阵行数，矩阵列数，如考虑bias，则先计算输出向量中一个元素需要多少计算量，首先要做。在训练时计算的均值方差是直接计算，在预测时是用 running mean，running var.对于池化层而言，常用的Max-pooling，Avg-pooling等是不存在参数量的。先计算输出的feature中一个元素需要的计算量。若考虑 bias，则做的加法会多一次。: 输入的channel 数。: 输入的 height。: 输入的 width。: 输入的 width。
FLOPS-pt:PyTorch模块FLOPS计数器
03-16
FLOPS-pt是为PyTorch框架设计的一个模块，它能够帮助开发者计算模型的FLOPs，从而评估模型的计算复杂度。了解模型的FLOPS有助于优化网络结构，降低计算资源需求，提升模型训练和推理的速度。 **PyTorch中的FLOPS...
模型参数量与FLOPs计算
JY丫丫
12-16 1849
模型的参数量与FLOPS计算 模型的参数量 卷积层计算 模型的参数量=[卷积核的长∗卷积核的宽∗卷积核的高（即通道，由上一层的输出通道决定）]∗卷积核的数量+偏置参数（其等于卷积核的数量）模型的参数量 =[卷积核的长 * 卷积核的宽 * 卷积核的高（即通道，由上一层的输出通道决定）]*\\ 卷积核的数量 + 偏置参数（其等于卷积核的数量）模型的参数量=[卷积核的长∗卷积核的宽∗卷积核的高（即通...
Pytorch中计算自己模型的FLOPs(profile(),clever_format())
java_pythons的博客
03-27 1141
Pytorch中计算自己模型的FLOPs(profile(),clever_format())
网络模型的参数量和FLOPs的计算 Pytorch
知识搬运者
11-07 9125
如果把torchstat包中的一行程序进行一点点改动，那么这个包可以用来统计全连接神经网络的参数量和计算量。当然手动计算全连接神经网络的参数量和计算量也很快 =_=。进入torchstat源代码之后，如下图所示，注释掉圈红的地方，就可以用torchstat包统计全连接神经网络的参数量和计算量了。包，帮助我们统计模型的parameters和FLOPs。如果不修改这个包里面的一些代码，那么这个包只适用于输入为3通道的图像的模型。在实际操作中，我们可以调用。
Pytorch中计算自己模型的FLOPs | thop.profile() 方法 | yolov5s 网络模型参数量、计算量统计
热门推荐
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
02-07 2万+
Pytorch中计算自己模型的FLOPs pytorch-OpCounter GitHub 主页： https://github.com/Lyken17/pytorch-OpCounter pip install thop 运行该项目评估代码 python benchmark/evaluate_famous_models.py 运行输出如下 Model Params(M) FLOPs(G)
教你计算Pytorch模型的计算量(FLOPs)和参数量(Params)
qq_42593798的博客
08-31 3874
计算量对应时间复杂度（时间的长短），参数量对应空间复杂度（占用显存大小） 1GFPLOs = 10^9FLOPs 即：10亿次浮点运算 方法一 1、安装模块 pip install thop 2、计算 import torch import torchvision from thop import profile # Model print('==> Building model..') model = torchvision.models.alexnet(pretrained=.
深度学习中的FLOPs是什么？如何计算的？
种花家的奋斗兔的博客
03-16 2万+
1.区分FLOPs和FLOPS FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 注意在深度学习中，我们用的是F...
计算模型浮点计算量 (FLOPs)的工具——torchstat
咖喱的博客
02-24 1596
github地址：https://github.com/lzhbrian/image-to-image-papers 安装包不好下，我传到百度网盘上了 链接：https://pan.baidu.com/s/1-SGCWiiFVmz0-lTDZRI7yw 提取码：lb9o
计算模型FLOPs和参数量（计算工具）
Charles5101的博客
08-08 3744
在pytorch环境下，有两个计算FLOPs和参数量的包thop和ptflops，结果基本是一致的。 thop 参考https://github.com/Lyken17/pytorch-OpCounter 安装方法：pip install thop 使用方法： from torchvision.models import resnet18 from thop import profile model = resnet18() input = torch.randn(1, 3, 224, 224)
pytorch model flops and parameters count
xinfeng2005的专栏
03-06 802
1. flops caculate: import re def get_num_gen(gen): return sum(1 for x in gen) def flops_layer(layer): """ Calculate the number of flops for given a string information of laye...
写一个计算模型FLOPs的函数
04-26
好的，我可以帮您编写一个计算模型FLOPs的函数。以下是Python代码： ```python import numpy as np def calculate_flops(model, input_shape): multiply_accum = 0 add_accum = 0 for layer in model.layers: layer_input_shape = layer.input_shape if isinstance(layer_input_shape, list): layer_input_shape = layer_input_shape[0] if isinstance(layer.output_shape, list): layer_output_shape = layer.output_shape[0] else: layer_output_shape = layer.output_shape layer_output_size = np.prod(layer_output_shape[1:]) layer_params = layer.count_params() multiply_count = layer_params * layer_output_size add_count = (layer_params - layer_output_size) * 2 multiply_accum += multiply_count add_accum += add_count num_inputs = np.prod(input_shape[1:]) flops = (multiply_accum + add_accum) * num_inputs return flops ``` 这个函数的输入是一个Keras模型对象和输入张量的形状。它遍历模型中的每一层，并计算每一层执行的浮点乘法和加法操作数的数量。然后，它将这些操作数相加并乘以输入张量的大小，最后返回模型的总浮点操作数（FLOPs）。 请记得，为了保护您的隐私和安全，我不会泄露您的任何要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值