使用fvcore计算Pytorch中模型的参数数量以及FLOPs

最新推荐文章于 2024-06-23 23:15:40 发布
最新推荐文章于 2024-06-23 23:15:40 发布
阅读量1.2w 收藏 114
点赞数 38
分类专栏： pytorch 深度学习 文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37541097/article/details/117471650
版权
深度学习 同时被 2 个专栏收录
53 篇文章 1542 订阅
订阅专栏
pytorch
25 篇文章 273 订阅
订阅专栏

fvcore是Facebook开源的一个轻量级的核心库，它提供了各种计算机视觉框架中常见且基本的功能。其中就包括了统计模型的参数以及FLOPs等。

fvcore is a light-weight core library that provides the most common and essential functionality shared in various computer vision frameworks

项目开源地址：
https://github.com/facebookresearch/fvcore

在python环境中安装fvcore

pip install fvcore

示例：
假设我需要计算以下resnet50的参数数量以及FLOPs参数。

import torch
from torchvision.models import resnet50
from fvcore.nn import FlopCountAnalysis, parameter_count_table

# 创建resnet50网络
model = resnet50(num_classes=1000)

# 创建输入网络的tensor
tensor = (torch.rand(1, 3, 224, 224),)

# 分析FLOPs
flops = FlopCountAnalysis(model, tensor)
print("FLOPs: ", flops.total())

# 分析parameters
print(parameter_count_table(model))

终端输出结果如下，FLOPs为4089184256，模型参数数量约为25.6M（这里的参数数量和我自己计算的有些出入，主要是在BN模块中，这里只计算了beta和gamma两个训练参数，没有统计moving_mean和moving_var两个参数），具体可以看下我在官方提的issue。
通过终端打印的信息我们可以发现在计算FLOPs时并没有包含BN层，池化层还有普通的add操作（我发现计算FLOPs时并没有统一的规定，在github上看的计算FLOPs项目基本每个都不同，但计算出来的结果大同小异）。

Skipped operation aten::batch_norm 53 time(s)
Skipped operation aten::max_pool2d 1 time(s)
Skipped operation aten::add_ 16 time(s)
Skipped operation aten::adaptive_avg_pool2d 1 time(s)
FLOPs:  4089184256
| name                   | #elements or shape   |
|:-----------------------|:---------------------|
| model                  | 25.6M                |
|  conv1                 |  9.4K                |
|   conv1.weight         |   (64, 3, 7, 7)      |
|  bn1                   |  0.1K                |
|   bn1.weight           |   (64,)              |
|   bn1.bias             |   (64,)              |
|  layer1                |  0.2M                |
|   layer1.0             |   75.0K              |
|    layer1.0.conv1      |    4.1K              |
|    layer1.0.bn1        |    0.1K              |
|    layer1.0.conv2      |    36.9K             |
|    layer1.0.bn2        |    0.1K              |
|    layer1.0.conv3      |    16.4K             |
|    layer1.0.bn3        |    0.5K              |
|    layer1.0.downsample |    16.9K             |
|   layer1.1             |   70.4K              |
|    layer1.1.conv1      |    16.4K             |
|    layer1.1.bn1        |    0.1K              |
|    layer1.1.conv2      |    36.9K             |
|    layer1.1.bn2        |    0.1K              |
|    layer1.1.conv3      |    16.4K             |
|    layer1.1.bn3        |    0.5K              |
|   layer1.2             |   70.4K              |
|    layer1.2.conv1      |    16.4K             |
|    layer1.2.bn1        |    0.1K              |
|    layer1.2.conv2      |    36.9K             |
|    layer1.2.bn2        |    0.1K              |
|    layer1.2.conv3      |    16.4K             |
|    layer1.2.bn3        |    0.5K              |
|  layer2                |  1.2M                |
|   layer2.0             |   0.4M               |
|    layer2.0.conv1      |    32.8K             |
|    layer2.0.bn1        |    0.3K              |
|    layer2.0.conv2      |    0.1M              |
|    layer2.0.bn2        |    0.3K              |
|    layer2.0.conv3      |    65.5K             |
|    layer2.0.bn3        |    1.0K              |
|    layer2.0.downsample |    0.1M              |
|   layer2.1             |   0.3M               |
|    layer2.1.conv1      |    65.5K             |
|    layer2.1.bn1        |    0.3K              |
|    layer2.1.conv2      |    0.1M              |
|    layer2.1.bn2        |    0.3K              |
|    layer2.1.conv3      |    65.5K             |
|    layer2.1.bn3        |    1.0K              |
|   layer2.2             |   0.3M               |
|    layer2.2.conv1      |    65.5K             |
|    layer2.2.bn1        |    0.3K              |
|    layer2.2.conv2      |    0.1M              |
|    layer2.2.bn2        |    0.3K              |
|    layer2.2.conv3      |    65.5K             |
|    layer2.2.bn3        |    1.0K              |
|   layer2.3             |   0.3M               |
|    layer2.3.conv1      |    65.5K             |
|    layer2.3.bn1        |    0.3K              |
|    layer2.3.conv2      |    0.1M              |
|    layer2.3.bn2        |    0.3K              |
|    layer2.3.conv3      |    65.5K             |
|    layer2.3.bn3        |    1.0K              |
|  layer3                |  7.1M                |
|   layer3.0             |   1.5M               |
|    layer3.0.conv1      |    0.1M              |
|    layer3.0.bn1        |    0.5K              |
|    layer3.0.conv2      |    0.6M              |
|    layer3.0.bn2        |    0.5K              |
|    layer3.0.conv3      |    0.3M              |
|    layer3.0.bn3        |    2.0K              |
|    layer3.0.downsample |    0.5M              |
|   layer3.1             |   1.1M               |
|    layer3.1.conv1      |    0.3M              |
|    layer3.1.bn1        |    0.5K              |
|    layer3.1.conv2      |    0.6M              |
|    layer3.1.bn2        |    0.5K              |
|    layer3.1.conv3      |    0.3M              |
|    layer3.1.bn3        |    2.0K              |
|   layer3.2             |   1.1M               |
|    layer3.2.conv1      |    0.3M              |
|    layer3.2.bn1        |    0.5K              |
|    layer3.2.conv2      |    0.6M              |
|    layer3.2.bn2        |    0.5K              |
|    layer3.2.conv3      |    0.3M              |
|    layer3.2.bn3        |    2.0K              |
|   layer3.3             |   1.1M               |
|    layer3.3.conv1      |    0.3M              |
|    layer3.3.bn1        |    0.5K              |
|    layer3.3.conv2      |    0.6M              |
|    layer3.3.bn2        |    0.5K              |
|    layer3.3.conv3      |    0.3M              |
|    layer3.3.bn3        |    2.0K              |
|   layer3.4             |   1.1M               |
|    layer3.4.conv1      |    0.3M              |
|    layer3.4.bn1        |    0.5K              |
|    layer3.4.conv2      |    0.6M              |
|    layer3.4.bn2        |    0.5K              |
|    layer3.4.conv3      |    0.3M              |
|    layer3.4.bn3        |    2.0K              |
|   layer3.5             |   1.1M               |
|    layer3.5.conv1      |    0.3M              |
|    layer3.5.bn1        |    0.5K              |
|    layer3.5.conv2      |    0.6M              |
|    layer3.5.bn2        |    0.5K              |
|    layer3.5.conv3      |    0.3M              |
|    layer3.5.bn3        |    2.0K              |
|  layer4                |  15.0M               |
|   layer4.0             |   6.0M               |
|    layer4.0.conv1      |    0.5M              |
|    layer4.0.bn1        |    1.0K              |
|    layer4.0.conv2      |    2.4M              |
|    layer4.0.bn2        |    1.0K              |
|    layer4.0.conv3      |    1.0M              |
|    layer4.0.bn3        |    4.1K              |
|    layer4.0.downsample |    2.1M              |
|   layer4.1             |   4.5M               |
|    layer4.1.conv1      |    1.0M              |
|    layer4.1.bn1        |    1.0K              |
|    layer4.1.conv2      |    2.4M              |
|    layer4.1.bn2        |    1.0K              |
|    layer4.1.conv3      |    1.0M              |
|    layer4.1.bn3        |    4.1K              |
|   layer4.2             |   4.5M               |
|    layer4.2.conv1      |    1.0M              |
|    layer4.2.bn1        |    1.0K              |
|    layer4.2.conv2      |    2.4M              |
|    layer4.2.bn2        |    1.0K              |
|    layer4.2.conv3      |    1.0M              |
|    layer4.2.bn3        |    4.1K              |
|  fc                    |  2.0M                |
|   fc.weight            |   (1000, 2048)       |
|   fc.bias              |   (1000,)            |

Process finished with exit code 0

更多使用方法，可以去原项目中查看使用文档。

太阳花的小绿豆
关注
  • 38
    点赞
  • 踩
  • 114
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 21
    评论
专栏目录
画pytorch模型图,以及参数计算的方法
12-31
刚入pytorch的坑，代码还没看太懂。之前用keras用习惯了，第一次使用pytorch还有些不适应，希望广大老司机多多指教。 首先说说，我们如何可视化模型。在keras中就一句话，keras.summary()，或者plot_model()，就可以把模型展现的淋漓尽致。 但是pytorch中好像没有这样一个api让我们直观的看到模型的样子。但是有网友提供了一段代码，可以把模型画出来，对我来说简直就是如有神助啊。 话不多说，上代码吧。 import torch from torch.autograd import Variable import torch.nn as nn from gr
fvcore:在FAIR计算机视觉团队的不同研究项目之间共享的通用代码的集合
05-11
fvcore fvcore是一个轻量级的核心库，它提供了在FAIR中开发的各种计算机视觉框架（如 ， 共享的最常见和必要的功能。 该库中的所有组件都经过类型注释，测试和基准测试。 FAIR中的计算机视觉团队负责维护此库。 特征： 除了一些基本实用程序外，fvcore最显着的功能是： 分层的按操作者翻牌计数工具：请参见此。 递归参数计数： 。 安装： fvcore需要pytorch和python> = 3.6。 使用以下方法之一进行安装： 1.从PyPI安装（每晚更新） pip install -U fvcore 2.从Anaconda Cloud安装（每晚更新） conda install -c fvcore -c iopath -c conda-forge fvcore 3.从GitHub安装最新版本 pip install -U 'git+https://gith
pytorch 实现打印模型的参数值
12-23
对于简单的网络 例如全连接层Linear 可以使用以下方法打印linear层： fc = nn.Linear(3, 5) params = list(fc.named_parameters()) print(params.__len__()) print(params[0]) print(params[1]) 输出如下： 由于Linear默认是偏置bias的，所有参数列表的长度是2。第一个存的是全连接矩阵，第二个存的是偏置。 对于稍微复杂的网络 例如MLP mlp = nn.Sequential( nn.Dropout(p=0.3), nn.Linear(1024
用fvcore计算PyTorch网络的参数量和FLOPs
感谢一切无私开源共享奉献者！
04-08 2485
依赖库安装命令 pip install fvcore FLOPs： 注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度。 示例 import torch from torchvision.models import resnet50 from fvcore.nn import FlopCountAnalysis, parameter_count_table # 创建resnet50网络 model = resn
fvcore
chen_znn的博客
05-22 1011
本文介绍了fvcore
fvcore库的一些功能和使用
最新发布
知识搬运者
06-23 201
fvcore是Facebook开源的一个轻量级的核心库，它提供了各种框架中常见且基本的功能。其中就包括了统计模型的参数以及FLOPs等。
YOLOv6项目通过fvcore计算FLOPS输出
yingzhu252的博客
09-09 411
使用YOLOv6项目训练数据，通过引入fvcore来计算FLOPS
FLOPs和使用fvcore计算FLOPs
qq_36136196的博客
08-06 1279
FLOPS：（floating point operations per second）浮点运算次数每秒，是计算速度，是衡量硬件性能的指标。 FLOPs:（floating point operations）小写的s表复数的意思，是计算量，用来衡量算法/模型的复杂度。 """ Provides access to per-submodule model flop count obtained by tracing a model with pytorch's jit tracing func
神经网络中FLOPs和MACs的计算（基于thop和fvcore.nn）
Chauncey_Wang的博客
06-01 4699
谈谈为啥thop和fvcore.nn统计出来计算量不同
在Pytorch中计算自己模型的FLOPs方式
09-18
在这个例子中，`profile`函数返回了模型的FLOPs和参数数量。`input_size`参数定义了模型处理的输入数据的维度，通常对应于一个图像的尺寸。 然而，对于自定义模块的FLOPs计算，可能需要定义特定的计算规则。例如，...
Python中的fvcore入门
牛肉胡辣汤
10-20 416
在Python中，​​fvcore​​是一个用于计算机视觉任务的实用工具库。它提供了一系列方便的功能，帮助我们更高效地处理图像数据和进行模型训练。本文将介绍如何入门使用​​fvcore​​。​​fvcore​​是一个功能强大的计算机视觉工具库，为我们在Python中进行图像数据处理和模型训练提供了方便的功能特点。本文简要介绍了​​fvcore​​的安装和常用功能，希望能够帮助读者入门并开始使用该库。更多详细信息和用法示例，可参考​​fvcore​​的​​官方文档​​。
安装fvcore库
AI浩
10-19 4129
fvcore库的简介 fvcore是一个轻量级的核心库，它提供了在各种计算机视觉框架(如Detectron2)中共享的最常见和最基本的功能。这个库基于Python 3.6+和PyTorch。这个库中的所有组件都经过了类型注释、测试和基准测试。Facebook 的人工智能实验室即FAIR的计算机视觉组负责维护这个库。 github地址：https://github.com/facebookresearch/fvcore 执行命令 conda install -c fvcore -c iopath -c con
Py之fvcore：fvcore库的简介、安装、使用方法之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-07 2万+
Py之fvcore：fvcore库的简介、安装、使用方法之详细攻略 目录 fvcore库的简介 fvcore库的安装 fvcore库的使用方法 1、基础用法 fvcore库的简介 fvcore是一个轻量级的核心库，它提供了在各种计算机视觉框架(如Detectron2)中共享的最常见和最基本的功能。这个库基于Python 3.6+和PyTorch...
python fvcore 简单安装及使用详解，CfgNode和Registry祥解付代码
m0_59156726的博客
07-07 1358
fvcore是一个由Facebook AI Research开发的Python工具库，提供了一些方便的工具函数和类，用于简化深度学习项目的开发过程。下面是一些fvcorefvcorefvcorefvcorefvcorefvcoreconfigfvcoreloggerfvcoretimerfvcorefvcorefvcorefvcorefvcore库提供了许多方便的工具函数和类，可以帮助开发者简化代码，减少重复性工作，提高代码的可读性和可维护性。fvcore。
探索FVCore：Facebook研究团队的轻量级核心库
gitblog_00038的博客
03-24 324
探索FVCore：Facebook研究团队的轻量级核心库 项目地址:https://gitcode.com/facebookresearch/fvcore FVCore 是Facebook AI研究团队开发的一个小型但功能强大的库，它专注于提供高性能的基础组件，主要用于计算机视觉和深度学习领域。这个项目的目的是为研究人员和开发者构建高效、灵活且易于维护的模型提供便利。 项目简介 FVCore的核心...
全网首发！超详细的SparseR-CNN实战(1)
m0_60707685的博客
05-01 797
APEX是英伟达开源的，完美支持PyTorch框架，用于改变数据格式来减小模型显存占用的工具。其中最有价值的是amp（Automatic Mixed Precision），将模型的大部分操作都用Float16数据类型测试，一些特别操作仍然使用Float32。并且用户仅仅通过三行代码即可完美将自己的训练代码迁移到该模型。实验证明，使用Float16作为大部分操作的数据类型，并没有降低参数，在一些实验中，反而由于可以增大Batch size，带来精度上的提升，以及训练速度上的提升。
目标检测框架Detectron2v4环境安装
weixin_43984415的博客
07-28 529
目标检测框架Detectron2v4环境安装
Detectron2和fvcore中的Registry机制详解
ahhhhhh520的博客
04-24 3205
Detectron2和fvcore中的Registry机制详解为什么要有Registry机制如何使用Registry机制Registry机制内部是怎么实现的 为什么要有Registry机制 Registry机制原本是fvcore框架里面的功能，因为fvcore是一个轻量级的核心库，它提供了在FAIR开发的各种计算机视觉框架（如Detectron2、PySlowFast和ClassyVision）中共享的最常见和最基本的功能。所以Detectron2里面有很多功能都是直接从fvcore框架里面直接拿过来用的。
pytorch计算模型参数量
02-19
PyTorch是一个流行的深度学习框架，可以用于构建和训练神经网络模型。计算模型参数量是评估模型复杂度和性能的重要指标之一。在PyTorch中，可以使用`torchsummary`库来计算模型参数量。 首先，确保你已经安装了`torchsummary`库。可以使用以下命令进行安装： ``` pip install torchsummary ``` 接下来，我们可以通过以下步骤来计算模型参数量： 1. 导入所需的库： ```python import torch from torchsummary import summary ``` 2. 定义模型： ```python import torch.nn as nn class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1) self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1) self.fc1 = nn.Linear(128 * 7 * 7, 256) self.fc2 = nn.Linear(256, 10) def forward(self, x): x = self.conv1(x) x = self.conv2(x) x = x.view(x.size(0), -1) x = self.fc1(x) x = self.fc2(x) return x model = MyModel() ``` 这是一个简单的卷积神经网络模型。 3. 使用`summary`函数计算模型参数量： ```python summary(model, (3, 224, 224)) ``` 这里的`(3, 224, 224)`是输入张量的形状。 运行以上代码后，你将会得到一个模型参数量的总结，包括每一层的输出形状和参数量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

太阳花的小绿豆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值