关于卷积操作（Convolution）的理解（参数量和运算量计算），以及网络轻量化（MobileNet Inspired Depthwise Separable Conv深度可分离卷积）

最新推荐文章于 2024-09-09 16:35:45 发布
最新推荐文章于 2024-09-09 16:35:45 发布
阅读量4.8k 收藏 14
点赞数 3
分类专栏： Deep Learning MobileNet 深度分离卷积 卷积 文章标签： 卷积 空间分离卷积 MobileNet 网络轻量化 CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trasper1/article/details/99085236
版权
本文介绍了深度可分离卷积（DSC）如何实现网络轻量化，以MobileNet为例，探讨了DSC相对于普通卷积在参数量和运算量上的优势。通过将卷积拆分为depthwise和pointwise两步，DSC能有效减少参数数量，降低计算复杂度，适合应用于资源有限的移动设备。
摘要由CSDN通过智能技术生成

深度学习，尤其是深度卷积网络的迅猛发展，使得其在存储和算力奢侈的GPU（多GPU）上的部属趋于成熟。然而，将基于深度CNN的方法有效移植到存储和算力有限的移动设备端（手机、Pad、嵌入式设备等）面临诸多挑战。

核心挑战就是如何降低CNN对memory（存储）和FLOPS（算力）的要求，但又保持CNN的性能（相比于其在GPU端的原貌）没有显著衰减。为解决这一核心挑战，我们就需要研究网络轻量化，具体说就是通过设计新的网络结构（archeticture）以及网络中不淑的卷积操作（Conv Ops），以实现 1. 减少网络参数量；2. 降低网络运算过程中的FLOPs。

关于轻量化网络的设计，八仙过海。这里希望和大家分享我对Google开发的MobileNet（V1-V3）系列网络的宏观感受。个人水平有限，也没有深入实现过MobileNet的各个版本，因此此处仅站在广义CNN设计的角度汇报一下。

MobileNet的杀手锏，是深度可分离卷积（Depthwise Separable Convolution）

For breviety，此博客把Depthwise Separable Conv简称为DSC。

要理解DSC，我们先回溯普通卷积。

--------

最低0.47元/天 解锁文章
Trasper1
关注
专栏目录
Group conv vs. Depthwise separable conv
qq_50489856的博客
04-22 3077
本王有话说：这俩属于是做轻量化绕不开的经典工作，盘踞武林好多年，我们的目标学会并企图超越它。 分组卷积（Group conv） paper 原理 分组卷积,即ResNeXt的亮点,受Inception和AlexNet的启发产生。Inception中提到,对于卷积来说,卷积核可以看做一个三维滤波器:通道维+空间维(特指特征图的W和H),常规的卷积操作其实就是实现通道相关性和空间相关性的联合映射。Inception提出假设: 卷积层通道间的相关性和空间相关性是可以退耦合的,将它们分开映射,能达到更好的效果。具体
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
轻量级网络：减少参数量的几种方法
01-20
从 Inception 到 Xception 的发展一路看来，出现了很多精巧的结构设计和理念思想： 1、多个不同尺寸的卷积核，提高对不同尺度特征的适应能力 2、PW 卷积，降维或升维的同时，提高网络的表达能力 PW卷积：Pointwise Convolution，俗称 1×1 卷积，主要用于数据降维，减少参数量。 使用 1×1 卷积核对输入的特征图进行降维处理，这样就会极大地减少参数量，从而减少计算。例如，输入数据的维度是 256 维，经过 1×1 卷积之后，我们输出的维度是 64 维，参数量是原来的 1/4 。  PW 也可以用做升维，MobileNet V2 中使用 PW 将 3 个特征图
MobileNet——压缩卷积层计算量 (目标检测)(one/two-stage)(深度学习)(CVPR 2017)
星智云图StarImagine
11-29 3478
论文名称：《 MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applications 》  论文下载：https://arxiv.org/abs/1704.04861 论文代码：https://github.com/miraclewkf/mobilenet-MXNet 1、算法概述： 深度学习在图像...
卷积层的参数量和计算量
最新发布
qq_61563765的博客
09-09 714
形状仅为正方形/矩形（或其他一些需要手动确定的形状），因此它们只能在这种模式下使用。其中，K表示卷积核的大小，p表示padding的大小，S表示步长。（深度可分离卷积）是将一个完整的卷积运算分解为两步运行，即**卷积运算则是常规的卷积运算，它的卷积核的尺寸为。就特征提取的形状而言，卷积非常严格。，这是引入可变形卷积背后的核心思想。卷积** 与 Pointwise。，即一个通道只被一个卷积核卷积。）是卷积神经网络中的基础操作，步骤为：通过额外的卷积层计算。相比原来的正常卷积，计算偏移量额外的计算量。
深度可分卷积（Depthwise Separable Conv.）计算量分析
weixin_30401605的博客
04-09 497
上次读到深度可分卷积还是去年暑假，各种细节都有些忘了。记录一下，特别是计算量的分析过程。 1. 标准卷积和深度可分卷积 标准卷积（MobileNet论文中称为Standard Convolution，如下图所示）将N个大小（边长）为\(D_{k}\)、通道数为M的卷积核作用于大小为\(D_{f}\)、通道数同为M的特征图上，最后得到大小为Dp、通道数为N的输出。即标准卷积的每个卷积和的通道数需要...
卷积运算的计算量 参数量
zero
06-18 4557
计算量： 参数量：（一层输入feature map共享kernel ） DK DK 为卷积核大小，M 是输入 feature map 通道数，DFDF 为输出feature map 大小，N 是输出 feature map 通道数（也是卷积核的通道数）。 参考：https://blog.csdn.net/dl_007/article/details/82878267 ...
深度可分离卷积的计算量
weixin_42702666的博客
03-28 9213
深度可分离卷积将传统的卷积分解为一个深度卷积（depthwise convolution）+ 一个 1×1的卷积（pointwise convolution）。如下图所示，(a)是传统卷积，(b)、(c)分别对应深度可分离卷积的深度卷积和 1×1的卷积： 假设输入特征图大小为 D_F×D_F×M，输出特征图大小为 D_F×D_F×N，卷积核大小为 D_K×D_K，则传统卷积的计算量为：...
深度可分离卷积（depthwise separable convolution）简单介绍
m0_43395719的博客
08-04 6486
1. 普通卷积 举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32，一般的操作就是用32个3×3的卷积核来分别同输入数据卷积，这样每个卷积核需要3×3×16个参数，得到的输出是只有一个通道的数据。之所以会得到一通道的数据，是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积，然后叠加每一个通道对应位置的值，使之变成了单通道，那么32个卷积核一共需要(3×3×16)×32 =4068个参数。 假设 H x W 为输出feature map的空间大小，N为输入通道数
Tensorflow tf.nn.depthwise_conv2d如何实现深度卷积的
12-20
深度卷积是现代神经网络，特别是卷积神经网络（CNNs）中的一种高效计算策略，它主要用于减少模型的计算复杂性和参数数量。在TensorFlow中，`tf.nn.depthwise_conv2d`函数实现了这一操作。这个函数允许我们将输入图像...
卷积参数量计算（标准卷积，分组卷积，深度可分类）
史蒂夫方
03-29 8382
卷积参数量计算 总整理 这边其实算写给我自己复习用的， 就没有用博客的口吻了 简单为主 预备知识 FLOPs： s小写，指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。（模型） 在论文中常用GFLOPs（1 GFLOPs = 10910^9109 FLOPs）相当于十亿次 参考 轻量级神经网络“巡礼”（一）—— ShuffleNetV2 轻量化网络ShuffleNet MobileN...
[Deeplearning]dwconv
棉毛裤穿吗
08-31 1万+
dwconv 是由一个两部分卷积组成的一个网络 第一部分是depthwise conv 是分通道的一个卷积 就是每个卷积核对应input的每一个通道 有图好理解很多 如下 图源https://blog.csdn.net/tintinetmilou/article/details/81607721 因为上面每个层的特征都分开 没有有效的利用相同空间位置上不同层的有效信息，所以有了第二部分 第二部分是pointwise conv 它将第一部分各自独立的featuremap进行组合生成了新的 ..
DW Convolution
catrtees的博客
07-25 1018
6
卷积神经网络参数量和计算量的计算
weixin_42784169的博客
05-13 1万+
注意：本文先区分两个概念，再介绍stride = 1情况下CNN卷积的计算参数和计算量。文末会附上不同stride的计算CNN参数量和计算量和使用API自动计算CNN参数量和计算量的博客。 先区分两个概念： FLOPS 注意全部大写 是floating point of per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。 FLOPs 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。 注意：以下得计算均默认stride = 1
卷积层计算量(FLOPS)和参数量的计算
jacke121的专栏
07-28 9107
1.卷积参数量的计算，若卷积层的输入featuremap的维度为Cin×Hin×Win,卷积核的大小为K1×K2,padding=P1×P2,stride=S1×S2,卷积核(filter)的数量为Cout,则输出特征图的大小为Cout×Hout×Wout,其中： Hout=⌊(H−K1+2P1)/S1⌋+1 Wout=⌊(W−K2+2P2)/S2⌋+1 ⌊⋅⌋表示向下取整。 参数量的计算，由于卷积层共享参数的特性，做一次卷积只和输入通道数Cin,卷积核的大小K1和K2有关，而与输入高度Hin和..
【CNN】卷积神经网络中param和FLOPs介绍
chen1234520nnn的博客
03-09 4739
卷积神经网络中param和FLOPs介绍 CNN论文中在比较网络性能时经常会提到这两个参数，下面简单介绍这两个参数的含义。 Parameters：是指这个网络中参数的数量(训练网络时学习的参数)。这里的参数一般指的时参数W和b，也就是权重和附加值。 FLOPs：全称是floating point operations，即表示浮点运算次数(在CNN中也可简单成为网络的计算量)，小s后缀是复数...
深度学习之群卷积（Group Convolution）
热门推荐
hhy_csdn的博客
04-21 3万+
最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念，所以特地学习了一下群卷积。 群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少...
CNN模型所需的计算力（flops）以及常见层的flops分析
山中有石为玉
06-28 6894
1、flops解释 Flops: floating point operations per second的缩写，指的是每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs:可以用来衡量算法/模型的复杂度。其实也就是模型进行参数运算的次数。 对于一个卷积层，假设其大小为h*w*c*n (其中 c为 input channel,n为#output channel)，输出的f...
FLOPS理解
James的博客
07-01 1万+
    在描述GPU的性能的时候，我们常常用到FLOPS进行描述。FLOPS是Floating-point Operations Per Second的简写，即每秒所能够进行的浮点运算数目。在以往形容GPU的运算性能的时候也常常用到其他单位，比如Triangles Per Second每秒所能够渲染的三角型数目，以及Pixels Per Second 每秒所能够渲染的像素个数等等。然而我们为什么会...
MobileNet网络学习笔记
RayChiu757374816的博客
04-02 3279
详细分析MobileNetV1，V2V3待更新
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值