卷积计算量指标: Parameters, MAC, FLOPs

最新推荐文章于 2024-09-06 00:57:10 发布
最新推荐文章于 2024-09-06 00:57:10 发布
阅读量1.7k 收藏 16
点赞数 1
文章标签： 卷积 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41032661/article/details/113523934
版权
  • 参数量（Parameters)
  • 计算量，乘加次数 （Multiply Accumulate）
  • FLOPs （Floating Point Operations)

涉及标识:
Hin， Win ： 输入图片高，宽
Hout， Wout ： 输出图片高，宽
HK， WK ： 卷积核高，宽
Cin ：输入图片特征通道
Cout ： 输出图片特征通道

知识点：
根据Andrew Ng的讲解，重点理解Cout，Cout是根据卷积核的数量来决定的，每个卷积核自身有多少层是根据Cin来的，也就是上一层的Cout

图1
如上图，Cin根据原始输入图片有RGB，3个Channels。此时单个卷积核会有 Cin 层，也就是3层。如果不增加卷积核数量，则输出为 Cout 为1。

图2
接着上图我们增加卷积核的数量，假设我们需要2个卷积核。那么最终 Cout 输出即为2。Cout 可以理解为卷积核的个数。这里我们没有考虑Bias，但只要记住每个卷积核，也就例如图1中一个 (3x3x3) 对应1个Bias即可。

参数量

输入为（Hin, Win）,输出为（Hout, Wout）不考虑补0

  1. 考虑Bias：（Cin * HK * WK +1）* Cout
  2. 不考虑Bias：（Cin * HK * WK ）* Cout

计算量 (MAC)

  1. 考虑Bias：（Cin * HK * WK ）* Cout * （Hout, Wout）

  2. 不考虑Bias：（Cin * HK * WK - 1）* Cout * （Hout, Wout）

FLOPs

  1. 考虑Bias：（2 * Cin * HK * WK）* Cout * （Hout, Wout）

  2. 不考虑Bias：（2 * Cin * HK * WK - 1）* Cout * （Hout, Wout）

注：

1.这里计算FLOPs和MAC的时候只乘以一个（Hout, Wout）是因为权值共享，所以只需乘以一个输出特征图大小。

PS: 全连接参数考虑Bias = Neuronin * Neuronout + Neuronout

衡量模型复杂度：①模型参数量、②FLOPs（浮点运算数，计算量，s小写）【全连接层无权值共享，浮点运算数==参数量】；衡量硬件（GPU）性能的指标：FLOPS（每秒浮点运算次数，计算速度，S大写）
u013250861的博客
05-04 771
评价一个CNN的性能，除了其性能指标（分类任务的准确度、估计任务的误差、检测任务的精度等）外，还需要考虑该CNN的模型复杂度，如和。CNN的参数（parameters）包括CNN需要学习的卷积核权值（weight）、全连接层权值以及其他需要学习的权值，CNN的参数量便是指所有这些参数的个数之和。由于参数量比较大，一般以M或G作为单位，流行的ResNet50的参数量是25.56M。
CNN模型复杂度（FLOPs、MAC）、参数量与运行速度
jacke121的专栏
04-13 5279
CNN模型复杂度（FLOPs、MAC）、参数量与运行速度 先转载一下，有空再来整理 文章目录 0. 模型复杂度简介 1. 模型复杂度之一：模型参数量的计算方法 卷积层参数量计算 全连接层参数量计算 2. 模型复杂度之二：模型计算量的计算方法 2.1 FLOPs 2.1.1 注意FLOPs与FLOPS的区别 2.1.2 卷积层FLOPs的计算 2.1.3 全连接层FLOPs的计算 2.2 MAC、MACC、MADD 2.2.1 MACC概念及其与FLOPs的关系 2.2.2 全连接层MACC计算 2.2.
mac计算详解
12-20
资源包包含【MAC计算工具】【MAC计算工具_使用说明】【MAC消费_自助终端接口的mac运算】【mac运算】 详细描述了银联8583报文中mac计算过程 如有疑问可 咨询
MACs和FLOPs
热门推荐
拒绝任何因懒惰而生的省略号
09-13 1万+
目录FLOPsMACs关系使用全连接层卷积层深度分离卷积ReLU层全局池化（常用）：一般池化（不常用）：激活层ReLU/PReLU/ELUSigmoid FLOPs Floating Point Operations: 浮点运算次数，每一个加、减、乘、除操作都算1FLOPs操作，常用来衡量模型计算复杂度。 注意下FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标，两者别弄混。。。 MACs
手算神经网络MAC和FLOP
新缸中之脑
08-26 1277
在本文中，我们将深入探讨神经网络背景下的 MAC（乘法累加运算）和 FLOP（浮点运算）概念。通过学习如何使用笔和纸手动计算这些内容，你将对各种网络结构的计算复杂性和效率有基本的了解。这是 colab 笔记本中一个。
mac上求卷积的软件_MAC
weixin_39654058的博客
12-22 195
MAC就是乘加器。即一个乘法和加法可以在同一个指令周内完成的运算单元.或者说,一个指令周期能够输出一个乘加结果,也许中间有一级或者两级流水线,从一个循环外面来看就好比每个cycles输出一个结果一样.二十年前，从TI的DSP(数字信号处理器)开始学习并使用MAC这样的CPU单元。最初是单MAC，后来出现双MAC，再后来出现Vector engine，包含十几个，几十个，几百个MAC的阵列。如果你接...
深度学习——Pytorch模型统计FLOPs，MACs和Params评估参数
qq_40280673的博客
04-29 5708
FLOPs（Floating point operations per second）是指每秒浮点运算次数，MACs （Multiply-Accumulate Operations）是指乘加操作的次数，Params（Parameters）是指模型的参数数量。这三个指标可以用来衡量模型的复杂度，即模型计算量的大小。
MACs (乘加运算次数)和 FLOPs (浮点运算次数)关系，onnx函数计算方式
qq_40962125的博客
11-01 1996
2. 如果乘法和加法都计1 FLOPs,那么 MACs = FLOPs综上,MACs 和 FLOPs 的关系具体取决于计算方式,但更标准的做法是:MACs 和 FLOPs 是一个量级,它们的数值相等或近似相等。1. 如果乘法计2 FLOPs,加法计1 FLOPs,那么 MACs = 2 * FLOPs。之所以网上有人说它们是二倍关系,可能是采用了乘法计2 FLOPs的计算方式。所以,MACs 和 FLOPs 可以看作相等,都是反映模型计算量的指标。但这并不是一个标准的计算方法。
【论文阅读】【2D Backbone】轻量化网络三连击
麒麒哈尔的博客
02-20 605
文章目录SqueezeNetMobileNetv1 SqueezeNet 论文：SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE 论文的目的在于在保证模型精度的情况下，尽量减少模型的参数。本文在此目的下提出了3条设计策略： 1）用1x1的卷积核代替3x3的卷积核 2）输入到3x3卷积层的feature map的通道数，从而减少3x3卷积层的参数量 3）在网络中推迟downsampling
卷积神经网络经过卷积/池化之后的图像尺寸及参数个数以及FLOPs
xiaohuihui1994的博客
10-25 7056
设输入图像尺寸为WW3，卷积核尺寸为F，步幅为S，Padding使用P,共有M个卷积核，则经过该卷积层后输出的图像尺寸为： (W-F+2P)/S + 1&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp; &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp; *&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp; &
PyTorch 打印模型的评价指标（torchstat）
梁小憨憨的博客
02-05 2759
最近看论文发现有些作者会把模型的浮点运算数给展现出来，自己也学习一下，记录下来方便以后查阅。
mac上求卷积的软件_分享一个FLOPs计算神器
weixin_39630466的博客
12-31 268
FLOPS： 全大写，指每秒浮点运算次数，可以理解为计算的速度。是衡量硬件性能的一个指标。(硬件)FLOPs： s小写，指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。(模型) 在论文中常用GFLOPs(1 GFLOPs = 10^9 FLOPs)2017年，ICIR收录了NVIDIA发表的一篇论文，在这篇论文的附录里，NVIDIA详细的讲解了一下FLOPs的计算。对于卷积层来说：im...
【评价指标】FLOPs、MACs(Multiply–Accumulate Operations)、Params
ting的博客
06-27 855
为了计算模型的总FLOPs，需要对网络中每个操作的FLOPs值进行统计并求和。可以通过工具或代码库自动计算网络的FLOPs值，但需要注意，这些值通常是以理论计算为基础，实际的运行效率可能会受到硬件设备和软件实现的影响。FLOPs值通常被用作指导模型优化和压缩的重要参考指标，因为在保持准确率不变的情况下，降低模型的FLOPs可以提高模型的运行速度和节省计算资源。，就是计算量，在神经网络领域，通常用来衡量神经网络的计算复杂度，即完成一次前向传播所需要的浮点运算次数。，是一个衡量硬件速度的指标。
概念|FLOPs、FLOPS还是MACs？
最新发布
weixin_43833206的博客
09-06 637
如何区分FLOPs、FLOPS还是MACs？
模型的参数量parameters和计算量FLOPs与MAC
weixin_42630613的博客
09-27 2680
文章目录1、保存设置 1、保存设置 def zipdir(path, ziph): files = os.listdir(path) for file in files: if file.endswith(".py") or file.endswith("cfg"): ziph.write(os.path.join(path, file)) if file.endswith("cfg"): os.
神经网络参数量，计算量FLOPS，内存访问量MAC
Keep_Trying_Go的博客
05-07 4087
文章目录神经网络参数量，计算量FLOPS，内存访问量MAC（Memory Access Cost）对于卷积层而言：1.神经网络参数量计算方式2.计算量3.内存访问量对于全连接层而言：1.参数量2.计算量3.内存访问量BN层的参数量： 神经网络参数量，计算量FLOPS，内存访问量MAC（Memory Access Cost） 对于卷积层而言： 1.神经网络参数量计算方式 卷积层：假设输入特征图大小为: Hin x Win x M，卷积核大小KxK，N个卷积核，输出特征图大小为Hout x Wout x N.
MACs 和 FLOPs 有什么区别？如何计算？
ncf的博客
10-15 4228
一、MACs 和 FLOPs 有什么区别？ FLOPs is abbreviation of floating operations which includes mul / add / div … etc. MACs stands for multiply–accumulate operation that performs a <- a + (b x c).12 二、如何计算？ 安装thop pip install thop pytorch使用thop：3 from torchvision.mo
【Tensorflow】Mac上Tensorflow卷积与反卷积
Taily老段的专栏
12-29 893
卷积 tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要 tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None) 除去name参数用以指定该操作的name，与方法有关的一共五个参数： 第一...
理解计算机性能：存储器与CPU指标解析
此外，还有一个重要的概念是IPS（Instructions Per Second），它表示CPU每秒执行的指令数，而FLOPS（Floating Point Operations Per Second）则是衡量浮点运算速度的指标，主要用于科学计算。 除了存储器和CPU的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值