机器学习笔记：FLOPs

已于 2023-06-06 23:04:36 修改
阅读量1.3k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习 python
于 2021-09-13 01:21:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/120259088
版权
本文介绍了FLOPS（每秒浮点运算次数）和FLOPs（浮点运算数）的概念，它们分别用于衡量硬件性能和算法复杂度。在卷积运算中，每个红色单元格的计算量为2-1个乘法和加法，总FLOPs可通过单元格数量计算。在全连接层中，每个神经元的运算量为2倍输入数量，总FLOPs为输入和输出神经元数量的乘积。
摘要由CSDN通过智能技术生成

1 FLOPS与FLOPs

FLOPS：floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

2 卷积的FLOPs

输出的红色单元格需要的运算数量：

  •  输入的虚线部分和K1进行逐元素相乘
    • 需要k_H \cdot k_W \cdot C_{in}次乘法
  • 上一行乘法的结果相加
    • 需要k_H \cdot k_W \cdot C_{in}-1次加法
  • ——>一个单元格需要的运算量为2k_H \cdot k_W \cdot C_{in}-1
  • 一共有C_{out} \cdot H_{out} \cdot W_{out}个单元格
    • ——>FLOPs为(2k_Hk_WC_{in}-1)C_{out}H_{out}W_{out}

3 全连接层的FLOPs

 输出层每一个神经元需要的乘法数量为：Cin 次【每个输入神经元乘以对应的权重】

 输出层每一个神经元需要的加法数量为：Cin-1次【上一行Cin个乘法结果相加】

加上bias，所以输出层每一个神经元需要的运算数量为2Cin

一共有Cout个神经元，所以FLOPs为2Cin*Cout

UQI-LIUWJ
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
人工智能：模型复杂度【机器学习模型复杂度、深度学习模型复杂度（FLOPs、MAC）】
u013250861的博客
03-01 3547
一、机器学习模型复杂度 二、深度学习模型复杂度 通常，一个神经网络模型的复杂度用2个指标来描述： 模型的参数(Parameters)数量， Params：模型的参数量。 模型的计算量： FLOPs：FLoating point OPerations，前向推理的计算量。 MAC：Memory Access Cost。 MACC(MADD)：multiply-accumulate operations：先乘起来再加起来的运算次数。 1、时间复杂度（计算量） 时间复杂度（计算量）：计算量指的需要进
机器学习笔记 - YOLO家族简介
学以致用 知行合一
04-09 4602
目标检测是计算机视觉中最重要的课题之一。大多数计算机视觉问题都涉及检测视觉对象类别，如行人、汽车、公共汽车、人脸等。这一领域不仅限于学术界，而且在视频监控、医疗保健、车载传感和自动驾驶。 许多用例，尤其是自动驾驶，需要高精度和实时推理速度。因此，选择适合速度和准确性要求的物体检测器变得至关重要。YOLO（You Only Look Once）是一种单级目标检测器，用于实现两个目标（即速度和准确性）。而今天，我们将通过涵盖所有 YOLO 变体（例如，YOLOv1、YOLOv2、......
FLOPS和FLOPs的区别
beingstrong的博客
05-22 1045
FLOPS和FLOPs
FLOPS和吞吐率
huang_yx005的博客
12-01 4027
throughput: 吞吐率 FLOPS(Float Operations Per Second):每秒浮点运算量 吞吐率就如同你家里的水管, 每秒可以流出多少立方的水 每秒浮点计算数(flops)也是衡量吞吐率的一个单位, 通过折算到具体的浮点操作数量上. 假设有m * n的矩阵A, 和n * o的矩阵B, 则最终会形成m * o的矩阵C (C = A * B)
FLOPs与FLOPS
qq_38156104的博客
07-24 491
FLOPS：floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 假设采用滑动窗实现卷积且忽略非线性计算开销，则卷积核的FLOPs为： 其中，、和分别为输入特征图（就是输入图片了）的高度、宽度和通道数，为核宽度，为输出通道数。全连接层网络FLOPs为，其中，为输入维.
FLOPS和FLOPs
feng__shuai的博客
10-21 1831
文章目录定义获取FLOPSFLOPs卷积层全连接层使用参考 对手机或者pc芯片比较有兴趣的可能对flops这个字眼不陌生，比如苹果A14芯片性能，或者英伟达V100的算力怎么样都会出现flops, 如果做过ai模型剪枝的同学，可能在一些压缩框架比如distiller, ncnn, paddle.slim里也看到过flops, 问题来了，这两个flops是一个意思吗？ 定义 FLOPS： 全大写，指每秒浮点运算次数，可以理解为计算的速度。是衡量硬件性能的一个指标。（硬件） FLOPs： s小写，指浮点运
FLOPS
嘿芝麻的树洞
11-19 920
FLOPS 全称为：floating point operations per second 翻译为每秒所能够进行的浮点运算数目。 FLOPS是用来描述GPU的性能的标注。
神经网络运算量&参数量估计——FLOPS和FLOPs辨析
小小顺利的博客
02-29 4793
一、概念明晰 首先要明确“运算量”和“参数量”两个概念： 参数量：这个比较好理解，例如卷积层中的卷积核c_i*k*k*n_o，其参数量就是相乘的结果。而且，无论输入图像的尺寸怎么变（YOLO实现中的multi scale训练策略），只要模型结构确定，参数量就固定。还需要注意，参数都是FP32（4字节）存放，所以模型大小是参数量*4。 运算量：使用FLOPs衡量，代表浮点运算次数，这个可以衡...
机器学习笔记 - EfficientNet论文解读
学以致用 知行合一
05-25 936
EfficientNet是一种卷积神经网络架构和缩放方法，它使用复合系数统一缩放深度/宽度/分辨率的所有维度。与任意缩放这些因子的传统做法不同，EfficientNet 缩放方法使用一组固定缩放系数统一缩放网络宽度、深度和分辨率。例如，如果我们想使用倍的计算资源，那么我们可以简单地增加网络深度, 宽度, 和图像大小， α,β,γ是由原始小模型上的小网格搜索确定的常数系数。EfficientNet 使用复合系数φ以有原则的方式统一缩放网络宽度、深度和分辨率。
论文笔记：PolarMask: Single Shot Instance Segmentation with Polar Representation
qq_41105449的博客
04-16 1127
摘要 本文通过实例中心分类和极坐标中的密集距离回归，将实例分割问题表述为实例轮廓的预测。 另外，本文采用有效的方法来处理采样高质量中心实例和优化密集距离回归，显著提高性能，简化训练过程。 必要知识 1.mAP值的计算 P：precision，即准确率；也就是所有被识别出来的本类物体中，真正的这类物体所占的比例。 R：recall，即召回率。也就是被正确识别出来的本类物体个数与测试集中所有真实本类物...
机器学习(一) 本文(3万字) | 机器学习概述 |
weixin_44302770的博客
12-24 875
统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statistical machine learning） 统计学习的主要特点是：(1)统计学习以计算机及网络为平台，是建立在计算机及网络上的：(2)统计学习以数据为研究对象，是数据驱动的学科：(3)统计学习的目的是对数据进行预测与分析：(4)统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析：(5)统计学习是概率论、统计学、信息论、
政安晨：【Keras机器学习示例演绎】（三十二）—— 在 Vision Transformers 中学习标记化
最新发布
政安晨——致力于AI人工智能数字互动领域
05-04 582
本文目标：为 "视觉变换器"自适应生成较少数量的令牌。 视觉变换器（Dosovitskiy 等人）和许多其他基于变换器的架构（Liu 等人、Yuan 等人）在图像识别方面取得了显著成果。 下面将简要介绍用于图像分类的视觉变换器架构所涉及的组件： —— 从输入图像中提取小块图像。 —— 线性投影这些斑块。 —— 为这些线性投影添加位置嵌入。 —— 通过一系列 Transformer（Vaswani 等人）模块运行这些投影。 —— 最后，从最后的 Transformer 模块中提取表示并添加分类头。
FLOPs与FLOPS的区别
修行之路
11-30 2626
FLOPS 的全称是floating point of per second，它的意思是指每秒浮点运算次数。用来衡量硬件的性能。 FLOPs 的全称是floating point of operations，它的意思是指浮点运算次数，可以用来衡量算法/模型复杂度。 ...
FLOPS的理解
热门推荐
摩登都市天空---专栏
10-30 1万+
在描述GPU的性能的时候，我们常常用到FLOPS进行描述。FLOPS是Floating-point Operations Per Second的简写，即每秒所能够进行的浮点运算数目（每秒浮点运算量). 在以往形容GPU的运算性能的时候也常常用到其他单位，比如Triangles Per Second每秒所能够渲染的三角型数目，以及Pixels Per Second 每秒所能够渲染的像...
FLOPS 与 FLOPs 的区别解析
SimpleLearning
03-21 1491
概念不同：FLOPS 表示每秒浮点运算次数，是计算设备的计算性能指标；而 FLOPs 表示模型中的浮点运算操作总数，是模型计算复杂度的指标。应用不同：FLOPS 用于评估计算设备的处理能力和性能；FLOPs 用于衡量模型的计算复杂度和计算量。单位不同：FLOPS 的单位是每秒浮点运算次数（如 TFLOPS、GFLOPS）；FLOPs 的单位是浮点运算操作总数（如 MFLOPs、GFLOPs）。水平有限，有问题随时联系；
[200715]What are the difference between FLOPS, FLOP and FLOPs?
weixin_46841421的博客
07-15 208
What are the difference between FLOPS, FLOP and FLOPs? Item Meaning Application FLOPS FLoating-point OPerations per Second 每秒浮点运算次数, 可理解为计算的速度, 计算机硬件性能的一个指标 FLOP FLoating-point OPerations 浮点运算 FLOPs number of FLOP 浮点运算数，理解为计算量，用来衡量算法/模型的复杂度 延
FLOPS，FLOPs，Parameters
luoyehuixuanaaaa的博客
03-21 3321
1 FLOPS 在描述GPU的性能时，我们常常用到FLOPS进行描述。FLOPS是floating point operations per second的简写，即每秒所能够进行的浮点运算数目。 FLOPS = 单个算数流水线一个时钟内可执行指令数目 * 单核算数流水线个数 * GPU核心数目 * 运行频率。 通常是一个很大的数目，因此我们常常采用GFLOPS作为单位 2 FLOPs ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值