卷积种类和计算FLOPs（计算量）

已于 2024-06-17 17:01:24 修改
阅读量331 收藏 5
点赞数 3
文章标签： pytorch
于 2024-05-03 13:01:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czlczl20020925/article/details/138413624
版权

各参数含义如下：
C_IN:输入特征矩阵的channel数
C_OUT:输出特征矩阵channel数
K:卷积核大小
H_IN*W_IN:输入特征矩阵size(未用到)
H_OUT*W_OUT:输出特征矩阵size

传统卷积

在这里插入图片描述

  • 卷积操作只有两种计算：乘法和加法
  • 卷积操作是对位相乘再相加，因此乘法操作和加法操作的次数应相同
  • 我们只需考虑乘法计算量，再将结果乘2即可


    得到输出特征矩阵某一channel上的某一像素需要乘法计算:C_in*K*K
    输出特征矩阵共有像素C_out*H_out*W_out
    乘法计算量为C_in*K*K*C_out*H_out*W_out
    总计算量为C_in*K*K*C_out*H_out*W_out*2

组卷积

  • 假设分为g组，每个组n个卷积核
  • 则输出矩阵channel数为n*g，每个组的channel数为C_in/g
  • 得到输出矩阵上某个channel上的某个像素值需要乘法计算：每个组channel数*输入矩阵宽*输入矩阵高=(C_in/g)*K*K
  • 输出矩阵共有n*g*H_out*W_out = C_out*H_out*W_out个像素
  • 总计算量为C_in*K*K*n*H_out*W_out*2 = C_in*K*K*C_out*H_out*W_out*2/g
  • 即若输出channel数量一致的情况下，组卷积的FLOPs为普通卷积的1/g

DW卷积

附上DW卷积操作图：
在这里插入图片描述

  • DW卷积C_in == C_out


    得到输出矩阵某一channel上的某一像素值需要乘法计算:K*K
    输出矩阵共有像素C_in*H_out*W_out
    乘法计算量为C_in*K*K*H_out*W_out
    总计算量为C_in*K*K*H_out*W_out*2

PW卷积（卷积核大小为1*1的传统卷积）

附上PW卷积操作图：
在这里插入图片描述


得到输出矩阵某一channel上的某一像素值需要乘法计算:C_in
输出矩阵共有像素C_out*H_out*W_out
乘法计算量为C_in*C_out*H_out*W_out
总计算量为C_in*C_out*H_out*W_out*2

MobileNet的Depthwise Separable Conv

将传统卷积拆分为DW卷积核PW卷积两个部分，DW卷积的输出作为PW卷积的输入
综上，
(DW计算量+PW计算量)/传统卷积计算量=(C_in*C_out*H_out*W_out*2+C_in*K*K*H_out*W_out*2)/C_in*K*K*C_out*H_out*W_out*2=
1/k^2+1/C_out
在MobileNet中K一般为3，Cout很大，因此上式约等于1/9，即Depthwise Separable Conv减少了近9倍的计算量

转置卷积

在这里插入图片描述

czlczl20020925
关注
面试宝典笔记：卷积计算过程中的FLOPs
pink369的博客
05-10 2019
模型的运算次数，可用 FLOPs衡量，也就是浮点运算次数（FLoating-point OPerations），表征的是模型的时间复杂度。模型空间复杂度通过Parameters反映，即模型的参数量。 最早是在2017年ICLR会议上由英伟达公司提出FLOPs的计算：从这张图中可以看出，随着模型层数不断加深，相应的flops增大，时间复杂度提高，但模型的验证集的错误率在不断减小。因此我们希望在模型加深获得更高精度的前提下尽可能减少模型的时间复杂度，加快模型的训练和预测时间。 单个卷积核的时间复杂度 M为每.
卷积操作的参数量和FLOPs
热门推荐
August-us的博客
03-03 3万+
卷积操作的参数量和FLOPs   这里首先需要辨析一个概念就是FLOPs和FLOPS可以看到简写的差别仅仅是一个字母大小写的区别。   FLOPS(floating-point operations per second)，这个缩写长这个样子确实也很奇怪，大致概念就是指每秒浮点数运算次数，最后一个S是秒(second)的缩写，是计组中的概念，用来描述计算机的运算速度。   FLOPs(floati...
CNN模型几个常见层的复杂度分析-FLOPs
zc199329的博客
04-26 5346
FLOPs：是floating point operations的缩写，表示浮点运算数，理解为计算量。用来衡量模型的复杂度。 目录 1 卷积： 解读： 参数量： 参考图： 计算量： 2 全连接 3 Dw-pw卷积 解读： 参数量： 示意图： 以下是自己整理推理的几个常见层的FLOPs计算： 1 卷积： 解读： 三维卷积的形式，对输入通道为Cin的输入，用Cout大小为...
卷积 vs. 深度可分离卷积（FLOPs计算量）
MaxeeoveCR的博客
10-12 1063
卷积 vs. 深度可分离卷积（FLOPs计算量） FLOPs（FLoat Point OPerations）浮点计算量 1.二维卷积 输入特征图：(H,W,Cin)(H,W,C_{in})(H,W,Cin​) 卷积核：(K,Cout)(K,C_{out})(K,Cout​)，步长为SSS，Padding为PPP 输出特征图：(Hout,Wout,Cout)(H_{out},W_{out},C_{out})(Hout​,Wout​,Cout​) 其中 Hout=(H+2∗P−K+1)/SH_{out}
分组卷积与dw卷积
ab0902cd的博客
12-28 2491
分组卷积、可分离卷积
卷积计算量指标: Parameters, MAC, FLOPs
weixin_41032661的博客
02-01 1710
面试中常问的卷积计算量指标 参数量（Parameters) 计算量，乘加次数 （Multiply Accumulate） FLOPs （Floating Point Operations) 涉及标识: Hin， Win ： 输入图片高，宽 Hout， Wout ： 输出图片高，宽 HK， WK ： 卷积核高，宽 Cin ：输入图片特征通道 Cout ： 输出图片特征通道 知识点： 根据Andrew Ng的讲解，重点理解Cout，Cout是根据卷积核的数量来决定的，每个卷积核自身有多少层是根据
神经网络参数量(Para)和计算量(FLOPs)的计算方法
weixin_42614350的博客
06-04 3968
参数量和计算量的对比 参数量即算法的空间复杂度，是衡量一个网络的空间大小指标。上升到硬件层次，，参数量对应的是计算机内存资源的消耗。 计算量即算法的时间复杂度，是衡量一个算法速度的指标。上升到硬件层次，计算量对应的是计算时间。 参数量计算方法 标准卷积层的参数量计算 假设卷积核的大小为 k*k, 输入channel为M， 输出channel为N。 bias为True时： 则参数数量为：Para = k×k×M×N + N（bias的数量与输出channel的数量是一样的） bias为False时： 则参数数
卷积的计算量flops
qinglv1的博客
08-04 2650
W，H是feature map的宽高，一般也相等。cin，cout是说输入和输出的channel分别是多少，k，w是卷积核大小，这两个一般相等。 参考https://blog.csdn.net/weixin_42702666/article/details/88869086 进行一部分的补充，如下： 假设输入特征图大小为 D_F×D_F×M，输出特征图大小为 D_F×D_F×N，卷...
卷积神经网络的FLOPs和参数量的计算
longrootchen的博客
08-27 865
文章目录1. 计算公式2. 开源库 1. 计算公式 ICLR 2017 一篇 NVIDIA 的 paper 在 APPENDIX A.1 中给出了比较详细的计算公式（公式 11，公式 12）；然鹅原文中公式 11 可能有误，HHH 和 WWW 应为 height and width of the output feature map，而不是 of the input feature map。 对应讲解可以参考知乎 chen liu 的回答。 2. 开源库 用 pytorch 搭建的模型有一些库可以得到 F
22_CNN网络各种层的FLOPs和参数量paras计算1
08-03
在计算机视觉领域，卷积神经网络（CNN）是核心组件之一，用于图像识别、分类和检测等任务。理解和计算CNN的FLOPs（Floating Point Operations）和参数量对于优化模型性能、减小计算资源需求至关重要。本文将详细介绍...
卷积神经网络计算题试题_卷积神经网络的计算
weixin_39562579的博客
01-13 3110
转自：https://zhuanlan.zhihu.com/p/631747741. 卷积卷积神经网络中的卷积是指定义好卷积核(kernel)，并对图像(或者特征图，feature map)进行滑动匹配，即对应位置相乘再相加。其特点就在于能够捕捉局部的空间特征。具体过程如下图所示：图1-二维卷积过程示例每一个卷积核对应于一种特征提取的范式，不同的卷积核对应于不同的特征提取器，如下图所示：图2-卷积...
FLOPS、MAdds、MACC指标
sunlanchang的博客
12-23 9598
FC、Conv等FLOPS计算 FLOPS, floating point operations per second. 每秒的浮点运算数。 MADD、MACC（multiply-accumulate operations）：先乘起来再加起来的运算次数。 y = w[0]*x[0] + w[1]*x[1] + w[2]*x[2] + ... + w[n-1]*x[n-1] 上面的运算有n次...
使用Pytorch构建自定义层并在模型中使用
AIHUBEI的博客
10-03 542
使用Pytorch构建自定义层并在模型中使用，继承自nn.Module类，自定义名称为NoisyLinear的线性层，并在新模型定义过程中使用该自定义层。完整代码可以在jupyter nbviewer中在线访问。
动手学深度学习（李沐）PyTorch 第 7 章 现代卷积神经网络
m0_51448653的博客
10-03 948
在计算机视觉中，直接将神经网络与其他机器学习方法进行比较也许不公平。这是因为，卷积神经网络的输入是由原始像素值或是经过简单预处理（例如居中、缩放）的像素值组成的。但在使用传统机器学习方法时，从业者永远不会将原始像素作为输入。在传统机器学习方法中，计算机视觉流水线是由经过人的手工精心设计的特征流水线组成的。对于这些传统方法，大部分的进展都来自于对特征有了更聪明的想法，并且学习到的算法往往归于事后的解释。虽然上世纪90年代就有了一些神经网络加速卡，但仅靠它们还不足以开发出有大量参数的深层多通道多层卷积神经网络。
65 注意力分数_by《李沐：动手学深度学习v2》pytorch版
buyaotutou的博客
09-30 1091
注意力分数是query和key的相似度，注意力权重是分数的softmax结果。两种常见的分数计算:第一种：将query和key合并起来进入一个单输出单隐藏层的MLP、第二种：直接将query和key做内积。
（PyTorch） 深度学习框架-介绍篇
最新发布
marst437730201的博客
10-04 923
PyTorch的诞生是深度学习发展的需求以及开发团队不断努力的结果，它的出现为深度学习的研究和应用提供了一个强大而灵活的工具。
66 使用注意力机制的seq2seq_by《李沐：动手学深度学习v2》pytorch版
buyaotutou的博客
09-30 929
Seq2seq中通过隐状态在编码器和解码器中传递信息注意力机制可以根据解码器RNN的输出来匹配到合适的编码器RNN的输出来更有效的传递信息下面看看如何定义Bahdanau注意力，实现循环神经网络编码器-解码器。其实，我们只需重新定义解码器即可。为了更方便地显示学习的注意力权重，以下类定义了[带有注意力机制解码器的基本接口#@save"""带有注意力机制解码器的基本接口"""@propertydef attention_weights(self): #画图所需代码。
【代码实现】opencv 高斯模糊和pytorch 高斯模糊
一个CV小白的博客
09-30 522
Gaussian Blur，也叫高斯平滑，是在Adobe Photoshop、GIMP以及Paint.NET等图像处理软件中广泛使用的处理效果，通常用它来减少图像噪声以及降低细节层次。
一维卷积神经网络参数量和计算量pytorch代码实现
03-29
以下是一个简单的一维卷积神经网络的PyTorch代码示例，包括参数量和计算量的计算： ```python import torch import torch.nn as nn class ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__init...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值