卷积、可分离卷积的参数量、计算量与 MACC 的对比

最新推荐文章于 2022-05-09 11:41:21 发布
最新推荐文章于 2022-05-09 11:41:21 发布
阅读量1.6k 收藏 5
点赞数 2
分类专栏： 深度学习 PHM项目实战--建模篇 文章标签： 卷积 算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758914/article/details/106885400
版权
PHM项目实战--建模篇 同时被 2 个专栏收录
23 篇文章 508 订阅 ¥79.90 ¥99.00
订阅专栏
深度学习
70 篇文章 34 订阅
订阅专栏
本文介绍了卷积和可分离卷积的参数量、计算量及MACC（Multiply-accumulate operations）的计算方法。普通卷积参数量为(Cin×kw×kh+1)×Cout，计算量为(2×Cin×kw×kh)×Wout×Hout×Cout，MACC为(kw×kh×Cin)×Wout×Hout×Cout。而可分离卷积分为深度级和点级卷积两部分，通过减少参数和计算量，实现轻量化和效率提升。
摘要由CSDN通过智能技术生成

文章目录

参数量、计算量与 MACC 介绍

  • 参数量：卷积过程中需要训练的参数数量；
  • 计算量：卷积过程中需要进行的运算次数，包括乘法和加法（带偏置项时次数加一）；
  • MACC (Multiply-accumulate operations)：先乘起来再加起来的运算次数（与是否带偏置项无关）。

普通卷积

普通卷积过程如下图所示，这里只给出 feature map 一个通道的运算过程：

在这里插入图片描述
我们可以假设输入该 feature map 的宽和高分别为 W i n W_{in}

了解本专栏 订阅专栏 解锁全文
cofisher
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
标准卷积、深度可分离卷积和分组卷积的参数量与计算量和感受野大小计算
qq_39987519的博客
07-07 3776
一、特征图尺寸计算方法 Wout=(Win+2∗Padding−F)/Stride+1 W_{out} = (W_{in} + 2*Padding-F)/Stride+1Wout​=(Win​+2∗Padding−F)/Stride+1 其中，Wout为输出特征图的宽度大小，Win为输入特征图的宽度大小，F为卷积核大小，Stride为卷积滑动步长，Padding为输入特征图填充的圈数。 例如，输入12×12×3 （特征图大小为12×12，通道数为3），经过卷积核大小为5×5，Padding=0，Stride
【计算机视觉】——标准卷积，深度可分离卷积参数量与计算量
m0_45388819的博客
10-08 531
标准卷积、深度可分离卷积和分组卷积的参数量与计算量和感受野大小计算
标准卷积 & 深度可分离卷积 & 分组卷积的参数个数计算和计算代价
梦坠凡尘
10-18 3177
假设： 输入feature map是一个尺寸为 Wi * Hi，输入通道数为Ci的张量X， 输出feature map是一个尺寸为Wo * Ho，输出通道数为Co的张量Y， 假设核张量是K，其形状为Co * Ci * Wk * Hk 那么参数数量为： Wk * Hk * Ci * Co 参数数量只跟卷积核大小（Wk * Hk * Ci）和卷积核个数有关 Because 卷积操作是共享权重 计算代价...
卷积层的算力评估(MACC和FOPS)
tugouxp的专栏
02-14 2963
以比较简单的lenet网络模型为例，我们尝试推导主要算子的算力计算公式，并看一下它的各层理论算力要求。 lenet网络结构 以第二层为例，他的输入尺寸是1*28*28*1的一张feature map,卷积核为 5*5*1,stride_h和stride_w均为1， pad_h,pad_w均为0，说明不做padding，输出feature map会缩小。 卷积层的算力评估方法 卷积模型，典型的卷积层计算如下图所示： 卷积算力计算 每做一次卷积，生成一个右图中的黄色方块，假设卷积
卷积运算的参数量与计算量
weixin_47532216的博客
10-31 319
卷积动画参考链接为：https://blog.csdn.net/haitaolang/article/details/80083691 参数量计算公式如下所示： ((m * n * d)+1)* k)：((shape of width of the filter * shape of height of the filter * number of filters in the previous layer+1)*number of filters) VGG-16为例，Conv1-1，输入 224∗224∗
二维卷积的高层级综合过程code.zip
01-03
在本项目中，"二维卷积的高层级综合过程code.zip"是一个包含多个源文件的压缩包，主要用于实现基于硬件描述语言（HLS，High-Level Synthesis）的二维卷积计算。HLS是一种将高级编程语言（如C++或C）转换为FPGA或ASIC...
计算机视觉 Project2：图像滤波与人像美颜
09-19
它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。 OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留...
tms320c5509a 双MAC测试
05-03
《深入理解TMS320C5509A双MAC测试与应用》 TMS320C5509A是德州仪器（Texas Instruments, TI）推出的一款高性能数字信号处理器（DSP），它以其强大的浮点运算能力和高集成度在诸多领域中得到了广泛应用，特别是在...
OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库，由
最新发布
05-15
### OpenCV概述与核心特性 #### 一、OpenCV简介 OpenCV（Open Source Computer Vision Library），即开源计算机视觉库，是一种广泛应用于图像处理、计算机视觉及机器学习领域的开源软件库。该库由一系列C函数和...
单片机与DSP中的ADSP系列数字信号处理器件的应用
12-08
1. **运算能力**：ADSP系列通过独立的ALU、MAC和桶形移位器，能在单周期内处理多个操作，提高了计算密集型任务的效率。 2. **数据寻址能力**：双地址发生器允许从不同存储空间同时获取数据，优化了数据处理流程。 ...
乘加macc_并行MACC运算 - DSP48E2 Slice 上优化 INT8 深度学习运算分析
weixin_34418334的博客
01-17 1008
在卷积神经网络(CNN)中，卷积层一般主要使用同一组权重，从而形成 a x w 和 b x w 类型的并行MACC 运算。因此除输入共享外，还可以使用权重共享(见图 7)。图 7 ：权重共享和输入共享比较创建 INT8 链接 MACC 的其他方法INT8 MACC 还能用 FPGA 架构内与 DSP Slice 频率近似的 LUT 来构建。根据 FPGA 的使用情况，这可以显著提升深度学习性能，在...
CNN中各层计算量MACC和FLOPs的计算方式
xunan003的博客
07-12 1万+
注： 1. ReLU和Pool层计算FLOPs，而conv层、FC层、Depthwise-conv层计算MACC数； 2. 区分FLOPS和FLOPs的区别， FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 ...
CNN的参数量、计算量（FLOPs、MACs）与运行速度
热门推荐
张鹏的博客
04-28 4万+
深度学习模型复杂度 描述一个具体的深度学习模型，除了性能指标（分类任务的准确度、检测任务的mAP等），还需要考虑该模型的复杂度，即（前向推理的）计算量和参数个数(Parameters)，前者描述了所需的计算力，后者描述了所需内存 FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。...
FLOPS与GOPS：各平台及神经网络算力算量调研
祥瑞的技术博客
01-03 3万+
目录 一、GOPS与FLOPS 1.1 FLOPS FLOPS定义 FLOPS换算 前标的十进制与二进制 显卡FLOPS值 1.2 GOPS 1.3 FLOP与GOPS之间的换算 二、常规神经网络算力 2.1 AlexNet 2.2 ResNet-152 2.3 EIE算力 2.4 一些层的算力 三、FPGA平台上算力评估 3.1 zynqNet算力评估 3.2 ...
FLOPS、MAdds、MACC指标
sunlanchang的博客
12-23 9531
FC、Conv等FLOPS计算 FLOPS, floating point operations per second. 每秒的浮点运算数。 MADD、MACC（multiply-accumulate operations）：先乘起来再加起来的运算次数。 y = w[0]*x[0] + w[1]*x[1] + w[2]*x[2] + ... + w[n-1]*x[n-1] 上面的运算有n次...
MACC与TOPS（FLOPS）互相换算
weixin_42107987的博客
01-21 6119
最近在做深度学习模型在嵌入式设备上的速率评估，现阶段一般计算深度模型的计算力的单位一般是MACC（Multiply–accumulate），一般评估嵌入式设备的单位是TOPS（Tera Operations Per Second），中文网站很少有介绍两者的关系。在查阅资料后基本可确定是tops=TMACC×2的关系。 具体可看： https://www.nxp.com/files-static/t...
卷积神经网络参数量和计算量的计算
weixin_42784169的博客
05-13 1万+
注意：本文先区分两个概念，再介绍stride = 1情况下CNN卷积的计算参数和计算量。文末会附上不同stride的计算CNN参数量和计算量和使用API自动计算CNN参数量和计算量的博客。 先区分两个概念： FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。 FLOPs 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。 注意：以下得计算均默认stride = 1
模型性能参数
栋哥修炼日记
05-09 882
一、pytorch使用stat打印网络的参数量==在PC上 #使用官方的模型 import torch import torchvision #或者测试自己搭建的模型 from model_v2 import MobileNetV2 from model_v3 import mobilenet_v3_small,mobilenet_v3_large from ptflops import get_model_complexity_info from model_v1 import MobileNet_V
Tensorflow2.0 评价模型复杂度：参数量、FLOPs 和 MACC 计算
cocofisher的博客
07-27 5837
文章目录项目介绍代码实现1、迁移学习不带分类层的简化版 MobileNet V2 网络2、查看网络结构3、提取需要分析的层4、计算 FLOPs 和 MACC 项目介绍 在论文写作时，我们经常会对所提出模型的复杂度进行分析，主要用到的评价指标包括参数量、FLOPs 和 MACC，它们的计算原理可以参考《卷积、可分离卷积的参数量、计算量与 MACC 的对比》一文，在此文章中，我们着重介绍如何在 Tensorflow2.0 中计算这些参数。 代码实现 我们使用迁移学习到的 MobileNet V2 网络举例。 1
深度可分离卷积的参数量和普通卷积对比
02-26
深度可分离卷积是一种卷积神经网络中的卷积操作，相比于传统的卷积操作，它具有更少的参数量。 深度可分离卷积分为深度卷积和逐点卷积两个部分，其中深度卷积是指对每个输入通道分别进行卷积，而逐点卷积是指在每个通道上分别进行卷积。相比之下，传统卷积操作是在所有输入通道上同时进行卷积。 因为深度可分离卷积的两个部分都使用了更少的参数，所以它的总参数量比传统卷积更少。具体来说，如果输入通道数为 $C_{in}$，输出通道数为 $C_{out}$，卷积核大小为 $k\times k$，则深度可分离卷积的参数量为 $C_{in}\times k^2 + C_{in}\times C_{out} + C_{out}$。相比之下，传统卷积的参数量为 $C_{in}\times C_{out}\times k^2$。可以看出，当 $C_{in}$ 和 $C_{out}$ 不太大的时候，深度可分离卷积的参数量可以大大降低。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cofisher

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值