深度学习常用参数量、FLOPs计算公式

已于 2023-03-28 21:34:06 修改
阅读量450 收藏 1
点赞数
文章标签： 深度学习 人工智能 神经网络
于 2023-03-28 21:32:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61348166/article/details/129825515
版权
本文探讨了深度学习中三种卷积操作——标准卷积、群组卷积和深度可分离卷积的参数量及FLOPs计算方法。对于标准卷积，参数量与FLOPs的计算涉及到kernel_size、输入通道(in_channel)、输出通道(out_channel)及图像尺寸(H*W)。群组卷积在参数量和FLOPs上都进行了减半处理。而深度可分离卷积显著减少了参数量，其主要计算为kernel_size乘以输出通道数。
摘要由CSDN通过智能技术生成

本文发，主要是记录在深度学习中遇到的参数量以及模型复杂度FLOPs计算公式，可能会存在些许错误，望各位周正。

标准卷积：

       1.参数量：kernel_size（3*3） * in_channel * out_channel

       2.FLOPs：kernel_size（3*3） * in_channel * out_channel * H * W

群组卷积：

       1.参数量：kernel_size（3*3） * in_channel/G * out_channel/G * G

       2.FLOPs：kernel_size（3*3） * in_channel * out_channel * H * W/G

深度可分离卷积：

       1.参数量：kernel_size * in_channel * out_channel/in_channel=kernel_size*out_channel

       2.FLOPs：kernel_size（3*3） * out_channel * H * w

yolo我不会
关注
使用thop库对yolo等深度学习模型的FLOPS进行计算
沉醉于风中的博客
03-16 2924
据说yolov5原来的FLOPS计算脚本有bug，因此这个大神推荐使用thop库进行计算，代码如下： input = torch.randn(1, 3, 416, 416) flops, params = thop.profile(model, inputs=(input,)) print('flops:', flops / 900000000*2) print('params:', params) 收藏在这里，方便以后需要算yolov5等模型的FLOPS时使用； 本文章来源 知乎pogg：YOLOv5
深度学习中parameters个数和FLOPS计算（以CNN中经典的AlexNet网络结构为例）
Never-Giveup的博客
01-30 2万+
面试时遇到过计算神经网路的参数个数以及FLOPS计算，当时对FLOPS计算比较蒙圈，这两天又看到了美团发布的技术博客对深度学习计算量的解决方案中又出现了FLOPS相关概念，所以通过查阅好多大佬的博客把FLOPS的计算问题理解清楚。 前言 深度学习的计算量 上表列举了，ImageNet图像识别中常见算法的模型大小以及单张图片一次训练（One Pass）所需要的计算量。 自2012年，Hinton的...
深度学习中FLOPs计算
shentu7的博客
04-08 4821
深度学习中FLOPs计算 定义：FLOPs（floating point operations），即浮点数运算次数，是一个计算量，所以可以用来衡量一个算法/模型等的复杂度 FLOPs是用来计算整个网络模型中乘法/加法的运行次数，是衡量算法的间接指标。下面通过卷积的例子来阐述计算FLOPs的方式。 假设 输入特征大小：Hi×Wi×CiH_{i} \times W_{i} \times C_{i}Hi...
FLOPS的计算
大新新大浩浩的博客
10-28 6808
FLOPS的计算、不同指令集的周期浮点计算次数
FLOPs如何计算
chen的博客
10-30 5471
FLOPs（Floating Point Operations Per Second）是一个用于衡量计算机系统、硬件或算法性能的单位，表示每秒执行的浮点运算次数。FLOPs的计算可以帮助评估机器学习模型或算法的计算复杂度，以确定其在不同硬件上的效率。FLOPs的计算通常取决于模型的结构以及每个层或操作的输入和输出维度。然后，根据该层或操作执行的具体数学运算来计算FLOPs。将所有层或操作的FLOPs相加，以获得整个模型的总FLOPs。输入层没有浮点运算，所以FLOPs为0。
深度学习层的FLOPs（浮点运算次数）计算公式
chen的博客
10-30 780
这些公式用于计算各种类型层的FLOPs，以帮助评估模型的计算复杂度和性能需求。注意，FLOPs通常用于估算模型的计算需求，实际硬件上的性能可能受到许多因素的影响，如并行性、内存带宽等。FLOPs计算公式通常取决于RNN层的具体类型（如LSTM、GRU等），因为它们的运算涉及更多的复杂性。对于其他特殊类型的层，FLOPs的计算方式可能不同，具体取决于层的操作和参数。池化层通常没有FLOPs，因为它执行的是最大值或平均值的固定操作，不涉及可学习参数。分别是输出特征图的高度和宽度。是卷积核的高度和宽度，
22_CNN网络各种层的FLOPs和参数量paras计算1
08-03
所以，不考虑bias的FLOPs计算公式为：(n*m*k*k + n*m - 1)*H*W。如果考虑bias，则总FLOPs为：(n*m*k*k + n*m)*H*W。 **深度可分离卷积的FLOPs计算：** 深度可分离卷积由分通道卷积和1x1卷积两部分组成。分通道卷积...
CNN网络各种层的FLOPs和参数量paras计算
YeeKo的博客
05-04 3891
目录FLOPs标准卷积层的FLOPs深度可分离卷积的FLOPs池化层的FLOPS全局池化一般池化全连接层的FLOPs激活层的FLOPsReLUsigmoid参数量卷积层的参数量深度可分离卷积的参数量池化层的参数量全连接层的参数量参考资料 FLOPs 这里先注意一下FLOPs的写法，不要弄混了： FLOPS(全大写)：是floating point operations per second的缩写...
Yolov5 计算访存量MAC与计算量FLOPS
m0_46093829的博客
12-02 3515
Yolov5 计算访存量MAC与计算量FLOPS
神经网络层的FLOPs计算
qq_38318634的博客
06-10 6472
神经网络各个层FLOPs的计算 • FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。可以理解为计算速度，用来衡量硬件的性能。 • FLOPs 是floating point of operations的缩写，是浮点运算次数，理解为计算量，可以用来衡量算法/模型复杂度。 定义在这篇论文有： 这篇论文PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE所描述
卷积网络参数量和计算量(FLOPs)的计算公式及代码
Brikie的博客
01-15 1万+
我们经常用参数量和浮点计算数FLOPs来衡量卷积网络的复杂度。下面推导其公式并在pytorch中实现，以二维卷积Conv2d为例。
参数量和计算量（Flops）公式
qq_43781887的博客
04-10 958
精简概括： 卷积核的参数数量计算公式：filter size * 前一层特征图的通道数 * 当前层filter数量 Flops（计算量）公式：卷积核的参数量 * 输出特征图的尺度
神经网络的FLOPs计算（一）：理论篇
球场恶汉的博客
07-09 7075
前言 在深度学习的研究中，神经网络有时候不光要求网络的精度，在调整模型或者精简模型的时候，需要知道模型的运算量有多大。一般来说模型的参数量能够大致反映模型量级，但是运算量才是我们真正需要知道的。本系列文章旨在介绍神经网络中各种网络层的运算量计算方法，以及代码实现自动计算网络模型运算量。 神经网络的计算量主要体现在卷积层、全连接层，其它的激活层、BatchNorm层、池化层等占比重较少。 运算量计算...
CV笔记3:模型复杂度---浮点运算量(FLOPs)+模型参数量(parameters)+硬件性能(FLOPS)
Xavier的博客
12-29 5199
目录 概念 单位换算 浮点运算量(FLOPs)和参数量(paremeters)的区别 深度学习框架FLOPs的组成 FLOPs没有考虑几个对速度有相当大影响的重要因素——MAC\并行度\平台 CNN的FLOPs计算公式 CNN的#paras计算公式 python计算FLOPs的库 参考 概念 FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写
深度学习中的FLOPs介绍及计算(注意区分FLOPS)
热门推荐
qq_41834400的博客
09-14 3万+
FLOPS与FLOPs FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。 全连接网络中FLOPs的计算 推导 以4个输入神经元和3个输出神经元为例 计算一个输出神经元的的计算过程为 y1=w11∗x1+w21∗x2+w31∗x3
【笔试面试】FLOPs计算——精简版
聊北辰同学的博客
11-21 372
卷积层 (2×Ci×K2−1)×H×W×Co\left(2 \times C_{i} \times K^{2}-1\right) \times H \times W \times C_{o}(2×Ci​×K2−1)×H×W×Co​ 式中，Ci,CoC_i,C_oCi​,Co​ 输入输出通道数，KKK 卷积核大小，H,WH,WH,W 输出 Feature Map 的大小。 (2×Ci×K2−1)=(Ci×K2)+(Ci×K2−1)\left(2 \times C_{i} \times K^{2}-1\righ
模型参数量与FLOPs计算
JY丫丫
12-16 1979
模型的参数量与FLOPS计算 模型的参数量 卷积层计算 模型的参数量=[卷积核的长∗卷积核的宽∗卷积核的高（即通道，由上一层的输出通道决定）]∗卷积核的数量+偏置参数（其等于卷积核的数量）模型的参数量 =[卷积核的长 * 卷积核的宽 * 卷积核的高（即通道，由上一层的输出通道决定）]*\\ 卷积核的数量 + 偏置参数（其等于卷积核的数量）模型的参数量=[卷积核的长∗卷积核的宽∗卷积核的高（即通...
Depthwise Separable Convolution 深度可分离卷积
m0_61899108的博客
01-23 2131
正文 Depthwise Separable Convolution的目的是减少计算量，提高计算速度。 普通卷积 对于普通卷积，每个卷积核同时操作输入图像的每个通道。任意个与原图像同通道数的卷积核，对原图像进行卷积。生成图像通道数 = feature map数量 = 卷积核个数 深度可分离卷积 对于Depthwise Separable 卷积，将一个完整的卷积运算分解为两个步骤：Depth-wise卷积 + Point-wise 卷积。 Depth-wise 卷积：一个卷积核负责一个通道，一个.
CNN模型所需的计算力（flops）
Cutepingping的博客
12-01 6968
Flops: floating point operations per second的缩写，指的是每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs:可以用来衡量算法/模型的复杂度。 对于一个卷积层，假设其大小为h*w*c*n (其中 c为 input channel,n为#output channel)，输出的feature map尺寸为H'*W'，则该卷积层的 #...
反卷积的flops计算公式
最新发布
08-17
反卷积（Deconvolution），也称为转置卷积（Transposed Convolution）或上采样...总FLOPs公式大约为：\( FLOPs \approx (H_{out} * W_{out}) * C_{out} * C_{in} \times (H_f * W_f) + (H_{out} * W_{out}) \)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yolo我不会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值