FLOPS的计算

已于 2022-10-28 15:14:46 修改
阅读量6.4k 收藏 15
点赞数 4
分类专栏： 超算HPC 文章标签： FLOPS
于 2022-10-28 15:13:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_35848778/article/details/127571810
版权

参考：https://blog.csdn.net/qq_42309265/article/details/123098538

概念

FLOPS（浮点运算数）：是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

计算方式

performance in GFlops = (CPU speed in GHz) x (CPU instruction per cycle) x (number of CPU cores) x (number of CPUs per node)

理论浮点计算速度=主频 x 每时钟周期浮点计算次数 x 每个CPU核数 x 每节点CPU个数

指令集的每时钟周期浮点计算次数

不同的CPU指令集的每时钟周期浮点计算次数不同，大部分使用双精度用于计算

指令集每时钟周期的单精度运算次数每时钟周期的双精度运算次数
SSE(128-bits)84
AVX(256-bits)168
AVX2(256-bits)3216
AVX512(512-bits)6432(FMA=2);16(FMA=1)

例子

使用Intel® Xeon® Platinum 8163 CPU作为例子进行计算

[root@node01 ~]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                96
On-line CPU(s) list:   0-95
Thread(s) per core:    2
Core(s) per socket:    24
座：                 2
NUMA 节点：         2
厂商 ID：           GenuineIntel
CPU 系列：          6
型号：              85
型号名称：        Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz
步进：              4
CPU MHz：             2881.317
CPU max MHz:           3100.0000
CPU min MHz:           1000.0000
BogoMIPS：            5000.00
虚拟化：           VT-x
L1d 缓存：          32K
L1i 缓存：          32K
L2 缓存：           1024K
L3 缓存：           33792K
NUMA 节点0 CPU：    0-23,48-71
NUMA 节点1 CPU：    24-47,72-95
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch epb cat_l3 cdp_l3 invpcid_single intel_ppin intel_pt ssbd mba ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm cqm mpx rdt_a avx512f avx512dq rdseed adx smap clflushopt clwb avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local dtherm ida arat pln pts pku ospke md_clear spec_ctrl intel_stibp flush_l1d arch_capabilities

单台理论浮点计算速度=每节点CPU个数 x 每CPU核数 x 主频 x 每时钟周期浮点计算次数=2 X 24 X 2.5 X 32=3840 GFLOPS

大新新大浩浩
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络层的FLOPs计算
qq_38318634的博客
06-10 6239
神经网络各个层FLOPs的计算 • FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。可以理解为计算速度，用来衡量硬件的性能。 • FLOPs 是floating point of operations的缩写，是浮点运算次数，理解为计算量，可以用来衡量算法/模型复杂度。 定义在这篇论文有： 这篇论文PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE所描述
计算cpu运算速度
11-05
软件介绍Super π 是一款利用CPU的浮点运算能力来计算出圆周率的小程序，支持计算到小数点之后3355万位。由于它超强的计算功能，很多人利用它的计算速度来衡量CPU的计算性能，以及CPU的稳定性。即使你的系统运行一天的 Word、Photoshop 都没有问题，而运行 Super π 也不一定能通过。可以说，Super π可以作为判断CPU稳定性的依据。所以目前普遍被超频玩家用做测试系统稳定性和测试CPU计算完后特定位数圆周率所需的时间。
关于 FLOPS、FLOPs、参数量的相关计算
乄洛尘
03-30 1万+
最近找到一些计算FLOPs的文章，奈何全是水文，讲都讲不清楚，完完全全的究极缝合怪。因此，这里准备彻底搞懂。
【计算机视觉】GFLOPs、FLOPS和FLOPs的区别和联系（含代码示例）
最新发布
wzk4869的博客
12-28 1万+
【计算机视觉】GFLOPs、FLOPS和FLOPs的区别和联系（含代码示例）
深度学习中的FLOPs介绍及计算(注意区分FLOPS)
qq_41834400的博客
09-14 3万+
FLOPS与FLOPs FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 全连接网络中FLOPs的计算 推导 以4个输入神经元和3个输出神经元为例 计算一个输出神经元的的计算过程为 y1=w11∗x1+w21∗x2+w31∗x3
FLOPs如何计算
chen的博客
10-30 4672
FLOPs（Floating Point Operations Per Second）是一个用于衡量计算机系统、硬件或算法性能的单位，表示每秒执行的浮点运算次数。FLOPs的计算可以帮助评估机器学习模型或算法的计算复杂度，以确定其在不同硬件上的效率。FLOPs的计算通常取决于模型的结构以及每个层或操作的输入和输出维度。然后，根据该层或操作执行的具体数学运算来计算FLOPs。将所有层或操作的FLOPs相加，以获得整个模型的总FLOPs。输入层没有浮点运算，所以FLOPs为0。
深度学习中FLOPs计算
shentu7的博客
04-08 4694
深度学习中FLOPs计算 定义：FLOPs（floating point operations），即浮点数运算次数，是一个计算量，所以可以用来衡量一个算法/模型等的复杂度 FLOPs是用来计算整个网络模型中乘法/加法的运行次数，是衡量算法的间接指标。下面通过卷积的例子来阐述计算FLOPs的方式。 假设 输入特征大小：Hi×Wi×CiH_{i} \times W_{i} \times C_{i}Hi...
深度学习中的FLOPs是什么？如何计算的？
种花家的奋斗兔的博客
03-16 2万+
1.区分FLOPs和FLOPS FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 注意在深度学习中，我们用的是F...
卷积网络参数量和计算量(FLOPs)的计算公式及代码
Brikie的博客
01-15 1万+
我们经常用参数量和浮点计算数FLOPs来衡量卷积网络的复杂度。下面推导其公式并在pytorch中实现，以二维卷积Conv2d为例。
神经网络的FLOPs计算（一）：理论篇
球场恶汉的博客
07-09 6912
前言 在深度学习的研究中，神经网络有时候不光要求网络的精度，在调整模型或者精简模型的时候，需要知道模型的运算量有多大。一般来说模型的参数量能够大致反映模型量级，但是运算量才是我们真正需要知道的。本系列文章旨在介绍神经网络中各种网络层的运算量计算方法，以及代码实现自动计算网络模型运算量。 神经网络的计算量主要体现在卷积层、全连接层，其它的激活层、BatchNorm层、池化层等占比重较少。 运算量计算...
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 3万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
深度学习层的FLOPs（浮点运算次数）计算公式
chen的博客
10-30 673
这些公式用于计算各种类型层的FLOPs，以帮助评估模型的计算复杂度和性能需求。注意，FLOPs通常用于估算模型的计算需求，实际硬件上的性能可能受到许多因素的影响，如并行性、内存带宽等。FLOPs计算公式通常取决于RNN层的具体类型（如LSTM、GRU等），因为它们的运算涉及更多的复杂性。对于其他特殊类型的层，FLOPs的计算方式可能不同，具体取决于层的操作和参数。池化层通常没有FLOPs，因为它执行的是最大值或平均值的固定操作，不涉及可学习参数。分别是输出特征图的高度和宽度。是卷积核的高度和宽度，
算力的计算公式
sunqi1237的专栏
06-05 1万+
FLOPS（Floating Point Operations per Second）：在浮点运算的场景下，算力可以使用FLOPS来衡量。需要注意的是，不同领域和应用场景下的算力计算可能存在差异，而且具体的计算公式也可能因硬件设备、软件算法等因素而有所不同。因此，在具体应用中，建议参考相关文档、标准或者硬件/软件提供商的说明来获取更准确的算力计算方法。TP（Transactions per Second）：在区块链和数据库领域，算力可以通过每秒处理的交易数量（TPS）来衡量。
Flops计算方式
weixin_NineDays66
03-27 1万+
看到有人对flops有疑惑，先捋清这个概念。 FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 网上打字很容易全...
FLOPS的含义及其计算方式
weixin_36670529的博客
03-14 5311
1. 深度学习框架FLOPs的概念 Floating point operations 即：浮点运算数量 Paper里比较流行的单位是GFLOPs 1 GFLOPs = 10^9 FLOPs 即：10亿次浮点运算 2. 深度学习框架FLOPs的组成 1. 卷积运算Conv 用以下动图中直观的解释： Image大小为 5x5 卷积核大小为 3x3 那么一次3x3的卷积（求右图矩阵一个元素的值）所需运算量：(3x3)个乘法+(3x3-1)个加法 = 17 要得到右图convolved
模型计算力（flops）和参数（parameters）
qingsong1001的专栏
06-02 3064
模型计算力（flops）和参数（parameters） https://zhuanlan.zhihu.com/p/144938518 提纲： Ø 参数量 Ø FLOPS\FLOPs\GFLOPs Ø 浮点运算和参数量的区别 Ø 不能绝对的用FLOPs作为速度衡量的原因——MAC\并行度\平台 参数量： CNN: 一个卷积核的参数 = k*k*Cin+1 一个卷积层的参数 = (一个卷积核的参数)*卷积核数目=k*k*Cin*Cout+Cout FLOPS:...
深度学习常用参数量、FLOPs计算公式
m0_61348166的博客
03-28 433
1.参数量：kernel_size（3*3） * in_channel * out_channel/in_channel =kernel_size*out_channel。1.参数量：kernel_size（3*3） * in_channel/G * out_channel/G * G。1.参数量：kernel_size（3*3） * in_channel * out_channel。
FLOPS计算
qq_35608277的博客
06-01 1611
LOPS： 全大写，指每秒浮点运算次数，可以理解为计算的速度。是衡量硬件性能的一个指标。（硬件） FLOPs： s小写，指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。（模型） 在论文中常用GFLOPs（1 GFLOPs = 10^9 FLOPs） 2017年，ICIR收录了NVIDIA发表的一篇论文，在这篇论文的附录里，NVIDIA详细的讲解了一下FLOPs的计算。 2是因为一个MAC算2个operations。 在此推荐一个神器（pytorch）：torchstat https://git
深度学习中FLOPS和FLOPs的区别与计算
一直特立独行的猫
11-08 1万+
我们在购买GPU或者计算目标检测模型复杂度的时候，一般会遇到FLOPS和FLOPs这两个指标，在此加以区分。
yolov8FLOPS计算
11-09
抱歉，目前并没有yolov8这个版本，最新的版本是yolov5。因此无法提供yolov8的FLOPS计算方法。但是，yolov5的FLOPS计算方法如下： 1. 打开yolov5代码文件夹，找到models/yolo.py文件。 2. 在yolo.py文件中找到Model类的forward方法。 3. 在forward方法中，可以找到计算FLOPS的代码段，如下所示： ```python # FLOPS run once dynamically if self.flops == -1: x = torch.randn(1, 3, self.height, self.width).to(next(self.parameters()).device) self.forward_once(x) flops = profile_macs(self, x) / 1E9 * 2 # 2 for inference and training self.flops = flops ``` 4. 可以看到，yolov5的FLOPS计算方法是通过调用profile_macs函数来实现的。其中，profile_macs函数是在utils/torch_utils.py文件中定义的，用于计算模型的FLOPS。 5. 因此，如果想要计算yolov5的FLOPS，可以按照上述方法找到FLOPS计算的代码段，并根据需要进行修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值