CNN的计算量和参数量

最新推荐文章于 2019-10-09 15:02:18 发布
最新推荐文章于 2019-10-09 15:02:18 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32172681/article/details/99126769
版权

1、计算量公式：  C_in*C_out*K*K*H_out*W_out*batchsize。

计算量和图像输出大小有关，和图像输入大小无关，和通道数有关，和卷积核大小有关，和批大小有关。

 

2、参数量计算公式：C_in*C_out*K*K*batchsize

参数量和channel是有关的，和卷积核大小是有关的，也就是说，多层channel的卷积核是不共享权值的。无论图像大小是多少，每个channel都只有一个kernel权值共享。

 

若有问题，欢迎指出～

 

纸上得来终觉浅～
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常用生成模型 -- GAN
qq_32172681的博客
08-15 3007
1、GAN简介 GAN，对抗生成网络， 包括两个网络，即生成器G与判别器D。它们的功能分别是： （1）G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。相当于decoder。 （2）D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可...
为什么用1*1卷积层代替全连接层？
热门推荐
qq_32172681的博客
07-15 1万+
全连接层的作用是，可以将卷积得到的局部特征连接起来，综合考虑整个图像。 当1*1卷积层的channel个数等于全连接层的节点个数时，可以看成全连接层，其中空间维度高和宽上的每个元素相当于样本，通道相当于特征。 用1*1卷积层代替全连接层的好处： 1、不改变图像空间结构 全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。 2、输入可以是任意尺寸 全连接层的输入尺寸...
详解resnet解决梯度消失问题
qq_32172681的博客
08-31 9158
1、ResNet 起源 ResNet 的出发点是，在一个浅层的网络模型上进行改造，将新的模型与原来的浅层模型相比较，改造后的模型至少不应该比原来的模型表现要差，极端情况下，新加层的结果为 0，这样它就等同于原来的模型了。 2、瓶颈结构 对于每个残差函数 f，使用3个层叠层，分别为1×1、3×3和1×1卷积，其中1×1层负责减小/增加尺寸，3×3层为瓶颈层。 假设现在有一个由3个卷积层...
GAN模式崩溃
qq_32172681的博客
08-16 5787
先把参考文章放在前面，我对里面的内容按照自己的思路进行整理～ http://www.dataguru.cn/article-14563-1.html https://blog.csdn.net/gdengden/article/details/88837835 1、首先用通俗易懂的语言介绍一下什么叫模式崩溃？ 比如手写数字识别，0-9一共10个数字，假设有10个模式，而我们网络只...
批量正则化Batch Normalization
qq_32172681的博客
08-13 4877
1、为什么随着网络深度增加，神经网络训练越来越慢呢？ 因为深层神经网络在做非线性变换前的激活输入值，随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动。训练收敛慢，一般是因为整体分布逐渐往非线性函数的取值区间的上下限两端靠近，这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因。 2、BN（Batch Normalization）的基本思想 BN...
查全率（precison）和查准率（recall）
qq_32172681的博客
08-26 4870
定义以下标记： tp：正确的标记为正；预测为真，实际为真 fp：错误的标记为正；预测为假，实际为假 tn：正确的标记为负；预测为真，实际为假 fn：错误的标记为负；预测为假，实际为真 查准率：precision = tp / (tp+fp) ；宁愿漏掉，不可错杀；正确预测占所有预测的比例 查全率：recall = tp / (tp+fn) ；宁可错杀，不可漏掉；正确预测占所有...
为什么用3*3卷积核代替7*7？
qq_32172681的博客
08-11 3903
早期的神经网络采用较大的卷积核，如5*5，7*7，这样参数很多，层次少，表达能力弱。现在一般都使用3*3卷积核。 为什么可以用两个3*3卷积核可以代替5*5卷积核呢？因为它们的感受野相同。 这样做有什么好处呢？ 1、增加网络层数，层之间可以加入激活函数，增加了网络的非线性表达能力。 2、参数更少，2个3*3的卷积核有18个参数，1个5*5的卷积核有25个参数。 ...
池化层
qq_32172681的博客
07-15 2984
1、池化层的功能 （1）下采样。 （2）保留主要的特征同时减少参数(降维，效果类似PCA)和计算量，简化网络复杂度，防止过拟合，提高模型泛化能力。 （2）可以实现不变性：平移不变性，旋转不变性，尺度不变性。比如在手写数字识别中，无论数字偏左还是偏右，都能识别成一个8*8大小的特征，无论数字特别大还是特别小，经过多次池化操作后，特征相同。 2、池化层常用分类 （1）平均池化（aver...
常用卷积神经网络 -- ResNet
qq_32172681的博客
07-15 1891
在计算机视觉中，往往越深的网络，特征越多，能够训练更好的模型。而非常非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸问题。通过在一个浅层网络基础上叠加y=x的层（称identity mappings，恒等映射），可以让网络随深度增加而不退化。但为了训练更好的网络，何恺明等人提出了残差网络(ResNet)。根据他的假设：如果对某一网络中增添一些可以学到恒等映射的层组成新的网络，那么最差的结果...
深度学习常用文件格式
qq_32172681的博客
07-16 1640
1、Jupyter Notebook Jupyter Notebook是一个 Web 应用程序，支持运行多种编程语言。 2、ipynb文件 .ipynb全称叫ipython notebook，需要安装jupyter库，pip install jupyter，安装之后，允许jupyter notebook，在浏览器打开，或者直接打开文件：jupyter notebook notebook...
二阶优化方法
qq_32172681的博客
10-09 1162
1、正定矩阵 正定矩阵的特征值全部大于0，负定矩阵的特征值全部小于0，半正定矩阵的特征值大于等于0，半负定矩阵的特征值小于等于0，这些都叫做定型矩阵。 但是我们求特征值的时候还经常遇到一个矩阵的几个特征值既有＞0，又有＜0，还有可能=0，这样的特征值既有正又有负又有0的矩阵就都叫做不定型的矩阵，也就是不定矩阵。 2、雅可比矩阵 在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的...
常用卷积神经网络 -- VGG
qq_32172681的博客
07-15 1093
VGG，它的名字来源于论文作者所在的实验室Visual Geometry Group。VGG提出了可以通过重复使用简单的基础块来构建深度模型的思路。提供简单的规则以指导后来的研究者如何设计新的网络。 1、VGG块 VGG块的组成规律是：连续使用数个相同的填充为1、窗口形状为3 × 3的卷积层后接上一个步幅为2、窗口形状为2 × 2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减...
常用卷积神经网络 -- NiN
qq_32172681的博客
07-15 914
LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。AlexNet和VGG对LeNet的改进主要在于如何对这两个模块加宽(增加通道数)和加深。而NiN意为网络中的网络，通过串联多个由卷积层和“全连接层”构成的小网络来构建一个深层网络。 1、NiN块 NiN块是NiN中的基础块。它由一个卷积层加两个充当全连接层的...
常用卷积神经网络 -- AlexNet
qq_32172681的博客
07-15 837
在计算机视觉流程中真正重要的是数据和特征。在相当⻓的时间里，特征都是基于各式各样手工设计的函数从数据中提取的。研究者表示，其实特征本身也应该由学习得来，在多层神经网络中，图像的第一级的表示可以是在特定的位置和⻆度是否出现边缘；而第二级的表示说不定能够将这些边缘组合出有趣的模式，如花纹;在第三级的表示中，也许上一级的花纹能进一步汇合成对应物体特定部位的模式。这样逐级表示下去，最终，模型能够较容易根据...
mpu6050陀螺仪使用方法开发教程文档.docx
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
唯美淡雅四页.zip
最新发布
07-30
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
FPGA CNN 每层计算量
02-23
FPGA CNN 每层的计算量取决于网络的结构和参数。一般来说，CNN 的每一层都包含卷积操作、激活函数、池化操作和全连接操作等。以下是一些常见的计算量指标： 1. 卷积操作：卷积操作是CNN中最耗时的部分之一。计算量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值