衡量神经网络的三个指标，参数量，multi-add，flop计算力

最新推荐文章于 2024-10-19 13:36:17 发布
最新推荐文章于 2024-10-19 13:36:17 发布
阅读量5.4k 收藏 17
点赞数 1
分类专栏： 知识盲区 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43167121/article/details/100541412
版权

1.深度学习框架FLOPs的概念

FLOPS：注意全大写
floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

FLOPs
Floating point operations 浮点运算数量，就是计算量

主要由卷积组成，BN，relu pool占比较少

Image大小为 5x5
卷积核大小为 3x3
那么一次3x3的卷积（求右图矩阵一个元素的值）所需运算量：(3x3)个乘法+(3x3-1)个加法 = 17
要得到右图convolved feature （3x3的大小）：17x9 = 153
在这里插入图片描述

2.参数量就是w,b的个数

例如每个滤波器55=25个unit参数和一个bias参数，一共6个滤波器，共(55+1)*6=156个参数

3.multi-add

对于一个 HiWiCi 的输入特征图经过KwKh的卷积操作并输出 HoWo*Co 的特征图有两种算数操作（即，Multi-Add）

1，乘法操作

对于Kh*Kw的卷积窗口，有 Kh*Kw*Ci 次乘法操作，因为卷积是在输入特征图上进行，而卷积是在 Ci 个通道上同时进行。

2，加法操作

对于 n 个元素求和，我们需要 n - 1次加法。而在一个卷积窗口内有 Kh * Kw * Ci 个元素。所以我们需要Kh*Kw*Ci - 1次加法操作。
【YOLO11改进 - 特征融合】C3k2融合MogaBlock，结合多种注意力机制和卷积操作，增强网络的特征提取能力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
11-07 75
【YOLO11改进 - 特征融合】C3k2融合MogaBlock，结合多通过尽可能全局地对内核进行语境化，现代卷积网络在计算机视觉任务中展现出了巨大的潜力。然而，深度神经网络 (DNN) 中多阶博弈论交互的最新进展揭示了现代卷积网络的表示瓶颈，其中表达性交互尚未通过增加的内核大小进行有效编码。为了应对这一挑战，我们提出了一种新的现代卷积网络系列，称为 MogaNet，用于在纯基于卷积网络的模型中进行判别性视觉表示学习，具有良好的复杂性-性能权衡。MogaNet 将概念上简单但有效的卷积和门控聚合封装到一个
Paper之CVPR&ICCV&ECCV：2009年~2019年CVPR&ICCV&ECCV(国际计算机视觉与模式识别会议&国际计算机视觉大会&欧洲计算机视觉会议)历年最佳论文简介及其解读
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-06 8216
Paper之CVPR&ICCV&ECCV：2009年~2019年CVPR&ICCV&ECCV(国际计算机视觉与模式识别会议&国际计算机视觉大会&欧洲计算机视觉会议)历年最佳论文简介及其解读 目录 Paper之CVPR&ICCV&ECCV：2009年~2019年CVPR&ICCV&ECCV(国际计算机视觉...
神经网络性能评价指标
derval的博客
07-13 1万+
神经网络性能评价指标 对于一个好不容易训练出来的模型，我们需要用数学工具直观的了解它的性能好坏。 先来了解混淆矩阵 一.混淆矩阵 首先，所有的样本（数据）中，可以被分为正样本和负样本。 其次，我们在对样本进行分类的时候也会分出正样本和负样本，但我们的判断是有错误的，故存在以下情况： True Positive(真正，TP)：将正样本预测为正样本 True Negative(真负，TN)：将负样本预测为负样本 False Positive(假正，FP)：将负样本预测为正样本 False Negative(假
神经网络性能指标
phoenixlxl的博客
04-06 456
预测正确的样本数量占总量的百分比：（准确率在样本不均衡情况下，不能评价模型性能的优劣）若一个实例是正类，并且被预测为正类。若一个实例是正类，但是被预测为负类。若一个实例是负类，但是被预测为正类。若一个实例是负类，并且被预测为负类。与某些真实值匹配程度。MSE 通常用作回归问题的损失函数。指精准率和召回率的调和平均数，最大为1，最小为0。与样本真实值 y 之间距离的平均值。指预测的正类中有多少为真的正类。指所有正类中有多少被预测为正。
干货 Flops Mutli-adds MACs
qq_41156733的博客
08-23 1338
我问了一个超分大佬，他告诉我一般不换算这两个东西，现在MACs用的不多，一般都使用Flops。
深度学习性能评价指标分析
Devin的博客
07-25 1901
基本定义 下图中是机器学习训练后的模型性能常用指标，及其来源： 分类正确的两类： true positive(简称TP)：对象本来为正例，网络识别为正例 true negative(简称TN)：对象本来为负例，网络识别为负例 分类错误的两类： false positive(简称FP)：对象本来为负例，网络识别为正例，通常叫误报 false negative(简称FN)：对象本来为正例，网络识别为负例，通常叫漏报 什么是 Ground Truth 字面意思就是实际情况，也就是“数据集+标
CNN中的参数，计算量，FLOPs，Multi-Add(乘加)，输出特征图尺寸等概念详解
weixin_40671425的博客
08-01 9887
在阅读论文时，我们会遇到参数量，FLOPS，Multi-add， CNN参数，CNN计算量等概念，通过阅读整理，这篇博客希望以最简洁的解释帮助大家理解这些基本概念。 首先，我们看一下卷积的计算方式： 卷积的计算方式：图片来自http://cs231n.github.io/convolutional-networks/ 卷积的计算方式 上图描述了一个 5*5*3 的输入特征图边界采用1个...
MultiAdd.java
10-11
MultiAdd.java
CV系列经典论文(1) -- ResNet: Deep Residual Learning for Image Recognition
Levi_Ackerman__的博客
12-27 2584
Abstract Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual
YOLOv11改进策略【模型轻量化】| 替换骨干网络为 MobileViTv1高效的信息编码与融合模块，获取局部和全局信息
最新发布
qq_42591591的博客
10-19 319
本文记录的是基于MobileNet V4的YOLOv11目标检测轻量化改进方法研究。其中MobileViT块旨在以较少的参数对输入张量中的进行建模，结合卷积与 Transformer 的优势，并实现有效的信息编码与融合本文配置了原论文中和三种模型，以满足不同的需求。
RT-DETR改进策略：BackBone改进|Swin Transformer，最强主干改进RT-DETR
m0_47867638的博客
09-16 1416
计算机视觉建模长期以来一直由卷积神经网络 (CNN) 主导。从 AlexNet [38] 及其在 ImageNet 图像分类挑战中的革命性表现开始，CNN 架构通过更大的规模 [29, 73]、更广泛的连接 [33] 和更复杂的卷积形式 [67, 17, 81]。随着 CNN 作为各种视觉任务的骨干网络，这些架构的进步导致了性能改进，从而广泛提升了整个领域。另一方面，自然语言处理 (NLP) 中网络架构的演变采取了不同的路径，如今流行的架构是 Transformer [61]。
Params(M), Multi-Adds (G),FLOPS之间的区别
qq_40723205的博客
06-29 1050
参数数量指的是模型中所有可训练参数的总数。这些参数包括权重和偏置项等。
【论文阅读】轻量化网络MobileNet-V1
weixin_46274756的博客
04-26 857
【论文阅读】轻量化网络MobileNet-V1
CNN中的参数，计算量，FLOPs，Multi-Add(乘加)，输出特征图尺寸和通道变化
weixin_42491648的博客
03-09 1323
在阅读论文时，我们会遇到参数量，FLOPS，Multi-add， CNN参数，CNN计算量等概念，通过阅读整理，这篇博客希望以最简洁的解释帮助大家理解这些基本概念。FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。卷积的参数可以理解为在一个卷积窗口内的计算个数，即输出一个卷积结果元素产生的运算操作。当 d = 1时，表示的普通卷积，退化为前面的公式；3 的卷积核，其步长为2进行计算的例子：最后的输出特征图是 3。
深度学习-参数量&模型大小&理论计算量
weixin_40826634的博客
12-03 7230
参数量&模型大小&理论计算量
模型计算量(FLOPs)和参数量(Params)的理解 + 计算、打印可训练参数量、可训练的层
MOL
12-02 2万+
(1)换算 以alexnet为例： 参数量：6000万 设每个参数都是float,也就是一个参数是4字节， 总的字节数是24000万字节 24000万字节= 24000万/1024/1024=228mb (2)为什么模型之间差距这么大 这个关乎于模型的设计了，其中模型里面最费参数的就是全连接层，这个可以看alex和vgg, alex,vgg有很多fc(全连接层) resnet就一个fc inceptionv1(googlenet)也是就一个fc (3)计算量 densenet其实这个
深度学习——参数量计算
dhy5710的博客
10-25 4788
指模型推断时需要多少计算次数是 floating point operations 的缩写（注意 s 小写），可以用来衡量算法/模型的复杂度，这关系到算法速度，大模型的单位通常为 G（GFLOPs：10亿次浮点运算），小模型单位通常为 M通常只考虑乘加操作(Multi-Adds)的数量，而且只考虑 CONV 和 FC 等参数层的计算量，忽略 BN 和 PReLU 等等。则参数个数为：param=(3*3*3+1)*64=1792。则参数个数为：param=(3+1)*5=20。
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 4万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
如何测试代码执行耗时？
weixin_30678821的博客
05-25 533
#include <chrono> #include <ctime> class Timer { public: Timer() :running_(false), has_run_at_least_once_(false) { } virtual ~Timer() { } virtual void...
一个缺陷识别的卷积神经网络的FLOP应该怎么计算或者查看？
06-01
FLOP是指每秒浮点运算次数，可以用来衡量计算机视觉任务中的模型性能。对于一个缺陷识别的卷积神经网络，可以使用以下方法计算FLOP： 1. 首先，确定模型的输入和输出大小以及每一层的参数数量。 2. 然后，对于每一层，计算其对应的FLOP。对于卷积层，可以使用以下公式计算FLOP：FLOP = 2 * 输入通道数 * 输出通道数 * 卷积核大小 * 卷积核大小 * 输出特征图大小 * 输出特征图大小。对于全连接层，可以使用以下公式计算FLOP：FLOP = 2 * 输入节点数 * 输出节点数。 3. 最后，将所有层的FLOP相加得到模型的总FLOP。 在PyTorch中，可以使用torchsummary库来查看模型的FLOP。通过以下代码可以安装该库： ``` pip install torchsummary ``` 然后，可以使用以下代码来查看模型的FLOP： ``` from torchsummary import summary summary(model, input_size=(3, 224, 224)) ``` 其中，model表示你的模型，input_size表示输入数据的大小。运行后会输出模型的详细信息，包括每一层的参数数量和FLOP。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>