CNN(卷积神经网络)的参数量计算和浮点计算量分析

最新推荐文章于 2023-10-31 08:47:30 发布
最新推荐文章于 2023-10-31 08:47:30 发布
阅读量2.1k 收藏 5
点赞数
原文链接：https://www.cnblogs.com/learningcaiji/p/14100562.html
版权
本文详细探讨了卷积神经网络（CNN）和全连接层的参数数量及计算量。在CNN中，参数量由输入通道数（ci）、输出通道数（co）、卷积核宽度（kw）和高度（kh）决定，并在使用BatchNormalization时排除偏置项。计算量以FLOPs（乘法与加法操作）表示，全连接层的计算量则与输入和输出节点数直接相关。此外，文章还提及了全连接层的参数和计算量计算方式。
摘要由CSDN通过智能技术生成

1. CNN参数

params(w) = co* (ci * kw * kh)

params(b) = co

所以总的参数量为 params = co* (ci * kw * kh + 1)

当使用了BatchNormalization时，不需要bias

2. CNN计算量

FLOPs (乘法) =  co*  H * W * (ci * kw * kh)   其中H， W代表输出特征的宽和高

FLOPs (加法(w)) =  co*  H * W * (ci * kw * kh - 1)   其中H， W代表输出特征的宽和高

FLOPs (加法(b)) =  co*  H * W * (1)   其中H， W代表输出特征的宽和高

所以总的计算量 FLOPs  =  co*  H * W * (ci * kw * kh ) * 2 

3. 全连接层参数

全连接即普通的矩阵运算

对于（b,  m）的输入，如果要转化为（b, n）的输出

其kernel的维度为（m,n）bias的维度为（n,）

所以，params = （m + 1）* n

4. 全连接层计算量

每一个输出都需要经过m次乘法，(m-1)次加法 + 1次加法，共有n个输出

所以总的计算量 FLOPs  =  2 * m * n 

Frederic_Bala
关注
机器学习笔记 - 2、CNN中的参数计算
学以致用 知行合一
01-15 1927
主要有两个部分的参数需要计算，一个是卷积后的尺寸，另一个是池化后的尺寸。先看一些具体的比较简单的例子，方便去数。最后再给出通用的计算公式。
CNN卷积神经网络及其在NLP自然语言处理中的应用（一）
weixin_43751558的博客
10-09 7606
由于可以有效地进行特征提取，卷积神经网络（CNN）已经被广泛地应用于计算机视觉、自然语言处理等领域。之前仅在图像的分类和识别中用过CNN，且对CNN的理解较为浅显。现在重新学习卷积神经网络，并重点学习其在NLP领域的应用。特此记录。 参考：https://blog.csdn.net/jiaoyangwm/article/details/80011656 一、卷积神经网络 首先从卷积神经网络的概念、发展历史、网络构架、常见网络等方面学习卷积神经网络。 1、卷积神经网络的概念 深度学习的概念提出后，由于可以使用
CNN卷积神经网络模型的参数量、计算量计算方法（概念版）
IT菜鸟
10-30 9607
CNN卷积神经网络模型的参数量、计算量计算方法（概念版）
卷积神经网络（CNN）的计算量和参数量计算
Fury的博客
12-14 4555
今天看文章复习了一下计算量和参数两的计算方法，这里做一下笔记 忽略padding和stride的话，输入层，卷积核和输出层的关系，以及参数量、计算量如下(第二行是一个例子) 关于参数量：每个卷积核有K×K×MK×K×MK×K×M个参数，那么共有N个卷积核，参数量就是K×K×M×NK×K×M×NK×K×M×N 关于计算量：每个卷积核遍历输入层，计算量是K×K×M×Wo×WoK×K×M×W_o×W_oK×K×M×Wo​×Wo​，那么N个卷积核的计算量就再乘上N。(这里乘上两个WoW_oWo​我没有做严格的证明
卷积神经网络参数数量计算
weixin_45199303的博客
11-03 797
假设卷积核的大小为 k*k, 输入channel为M， 输出channel为N。 （1）bias为True时： 则参数数量为：k×k×M×N + N（bias的数量与输出channel的数量是一样的） （2）bias为False时： 则参数数量为：k×k×M×N （3）当使用BN时，还有两个可学习的参数α和β，参数量均为N 则参数数量为：k×k×M×N + 3×N ...
CNN卷积神经网络模型的参数量、计算量计算方法（经验版）
IT菜鸟
10-31 1328
CNN卷积神经网络模型的参数量、计算量计算方法（经验版）
22_CNN网络各种层的FLOPs和参数量paras计算1
08-03
在计算机视觉领域，卷积神经网络（CNN）是核心组件之一，用于图像识别、分类和检测等任务。理解和计算CNN的FLOPs（Floating Point Operations）和参数量对于优化模型性能、减小计算资源需求至关重要。本文将详细介绍...
EXE2 - CNN_CNN_卷积神经网络_手写数字识别_
10-03
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，特别适用于处理具有网格状结构的数据，如图像。在本例程中，“EXE2 - CNN_CNN_卷积神经网络_手写数字识别_”是一个使用MATLAB实现的项目，其...
CNN轻量级卷积神经网络MobileNetv3的图像分类源码、pytorch框架实现，python编程语言
最新发布
07-27
MobileNet系列是深度学习领域中一种轻量级的卷积神经网络（CNN）架构，主要应用于移动设备和嵌入式系统中的图像识别任务。MobileNet的设计理念在于在保持较高准确性的前提下，尽可能减少计算资源的消耗，如参数数量...
tensorflow学习笔记之mnist的卷积神经网络实例
09-20
在本篇TensorFlow学习笔记中，我们探讨了一个用于识别MNIST手写数字的卷积神经网络（CNN）实例。MNIST数据集是一个广泛使用的图像识别数据集，包含0到9的手写数字，每张图像是28x28像素的灰度图像。以下是构建这个...
神经网络参数量计算
08-01
do_calc_net_cost.m 计算神经网络复杂度的Matlab函数代码，希望能对大家有所帮助
CNN的计算量和参数量
qq_32172681的博客
08-11 2221
1、计算量公式： C_in*C_out*K*K*H_out*W_out*batchsize。 计算量和图像输出大小有关，和图像输入大小无关，和通道数有关，和卷积核大小有关，和批大小有关。 2、参数量计算公式：C_in*C_out*K*K*batchsize 参数量和channel是有关的，和卷积核大小是有关的，也就是说，多层channel的卷积核是不共享权值的。无论图像大小是多少，每...
卷积神经网络参数量和计算量的计算
weixin_42784169的博客
05-13 1万+
注意：本文先区分两个概念，再介绍stride = 1情况下CNN卷积的计算参数和计算量。文末会附上不同stride的计算CNN参数量和计算量和使用API自动计算CNN参数量和计算量的博客。 先区分两个概念： FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。 FLOPs 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。 注意：以下得计算均默认stride = 1
CNN中的参数与计算量
weixin_72426331的博客
11-03 371
一个卷积神经网络的基本构成一般有卷积层（convolutional layer）、池化层（pooling layer）、全连接层（fully connection layer）。本文以caffe中的LeNet-5为例，分析卷积层和全连接层的参数数量和计算量情况。卷积层的基本原理就是图像的二维卷积，即将一个二维卷积模板先翻转（旋转180°），再以步长stride进行滑动，滑动一次则进行一次模板内的对应相乘求和作为卷积后的值。
CNN的参数量、计算量（FLOPs、MACs）与运行速度
热门推荐
张鹏的博客
04-28 4万+
深度学习模型复杂度 描述一个具体的深度学习模型，除了性能指标（分类任务的准确度、检测任务的mAP等），还需要考虑该模型的复杂度，即（前向推理的）计算量和参数个数(Parameters)，前者描述了所需的计算力，后者描述了所需内存 FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。...
CNN参数的计算(转)
wxfu2010的博客
07-30 1818
1、基本计算原理 　　 　　动态过程： 　　滤波器（过滤器：filter）的权值是根据你要检测的特征来决定的，在深度学习中，也即是要经过训练得到。检测的特征不同，权值就不一样。 　　如上单层的图像一般表示的是灰白图，既是没有颜色的，有颜色的RGB图像，会包含三个相同大小的图层，这时对应的滤波器也要变成三层，滤波器的层数（通道数）必须时刻与图像层数保持一致。。。 　　 　　注意输出的是一个单层图 　　 　　因为当一个三通道的过滤器与图像进行卷积时，是直接对27个数去加权计算它们的和得到
卷积神经网络中参数量的计算与模型占用显存的计算
qq_32172681的博客
09-13 395
占用显存的计算 也就是说我们的模型占用的显存在不同阶段的计算方式是不同的，下面以Vgg16为例。 1、加载模型时 （1）计算方法 （2）计算示例 如上图所示 2、训练时 加载模型时除了memory for paramaters ，我们使用了Adam还要加上memory for param gradients,memory for moment等。 在训练的时候，因为有f...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值