一图了解MobileNet的核心：Depthwise separable convolution

最新推荐文章于 2024-04-16 10:14:36 发布
最新推荐文章于 2024-04-16 10:14:36 发布
阅读量247 收藏
点赞数
分类专栏： 深度学习算法 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cnvshenjiaotu/article/details/113822922
版权

图（a）是标准的卷积神经网络，本层输入为Dk*Dk*M（也就是M张Dk*Dk的图），本层输出为Dk*Dk*N（也就是本层设置的输出通道为N）。

图（b）和图（c）就是MobileNet的核心：Depthwise separable convolution操作了。首先针对输入Dk*Dk*M的M个通道做Dk*Dk*1的卷积（图b），之后再对这M个Dk*Dk*1做1*1*N的卷积，得到输出为Dk*Dk*N。从上图可以明显看出，这种操作降低了参数量，提高了计算速度，同时提出该结构的论文实验，证明了该结构可以较大程度上降低精度损失。

上图来自论文https://arxiv.org/abs/1704.04861。

戍蓝
关注
专栏目录
论文阅读笔记——Xception: Deep Learning with Depthwise Separable Convolutions
sinat_39223177的博客
09-14 730
我们提出了卷积神经网络中Inception模块的解释，作为常规卷积和深度可分离卷积操作(深度卷积之后是点卷积)之间的中间步骤。从这个角度来看，深度可分离卷积可以被理解为具有最大数量塔的Inception模块。这一观察结果使我们提出了一种受Inception启发的新型深度卷积神经网络架构，其中Inception模块已被深度可分离卷积所取代。
关于卷积操作（Convolution）的理解（参数量和运算量计算），以及网络轻量化（MobileNet Inspired Depthwise Separable Conv深度可分离卷积）
Trasper1的博客
08-10 4798
深度学习，尤其是深度卷积网络的迅猛发展，使得其在存储和算力奢侈的GPU（多GPU）上的部属趋于成熟。然而，将基于深度CNN的方法有效移植到存储和算力有限的移动设备端（手机、Pad、嵌入式设备等）面临诸多挑战。 核心挑战就是如何降低CNN对memory（存储）和FLOPS（算力）的要求，但又保持CNN的性能（相比于其在GPU端的原貌）没有显著衰减。为解决这一核心挑战，我们就需要研究网络轻量化，具体...
轻量级神经网络MobileNet [V1 V2 V3]主要思想
qq_19655645的博客
08-23 559
1. MobileNet，从V1到V3 https://zhuanlan.zhihu.com/p/70703846 1.1 MobileNet V1 主要思想： 采用了深度可分离卷积（depthwise separable convolution）来提高网络的计算速度，depthwise separate convolution包含了深度卷积（depthwise convolution）和逐点卷积（pointwise convolution）。 激活函数采用的是ReLU6 1.2 Mob
MobileNets核心思想整理
m0_37982806的博客
12-19 383
MobileNets采用了一种新颖的卷积方式depthwise separable convolutions，相比于传统卷积方法，depthwise separable convolutions能大幅度的减少运算量，从而减少模型的大小。                               图1 传统卷积核                                 图2 d...
深度可分卷积（MobileNet中的depthwise separable convolutions）
lmb09122508的博客
11-07 541
MobileNet 做图像算法最经常用的模型是restNet系列，但是训练好的模型太大。拿restNet50来说，训练好的模型有280M，参数7千万，运行起来非常慢。 MobileNet是一个基于depthwise separable convolutions的网络结构，优点是模型非常小，训练完模型11M，参数200多万，准确率比restNet下降的幅度很小，更适合于移动...
Mobilenet 网络结构-Depthwise Separable Convoltion
qq_16236875的博客
08-06 357
1）常规卷积运算 假设输入层为一个大小为64×64 像素，三通道的彩色图片。经过一个包含4个filter 的卷积层，最终输出4个Feature Map，并且尺寸与输入层相同。 此时卷积层共4个filter，每个filter 包含3个kernel，每个kernel的大小为3×3,因此卷积层的参数量如下计算： N_std=4×3×3×3×3=108 2 Separable Convolution 核心思想是将一个完整的卷积运算分解为两步，分别为Depthwise Convolution 与Poi.
Depthwise Separable Convolution详解
热门推荐
04-07 1万+
转载自 常规卷积运算 假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的卷积层，最终输出4个Feature Map，且尺寸与输入层相同。整个过程可以用下图来概括。 此时，卷积层共4个Filter，每个Filter包含了3个Kernel，每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算： N_std = 4 × 3 × 3 × 3 = 10...
在一些轻量级网络中经常用到此结构，如MobileNet****、ShuffleNet、SqueezeNet等Xception**，**  基 于Inception系列网络结构的基础上，结合depthwise separable convolution, 就是Xception
最新发布
08-29
Xception是一种基于深度分离卷积（Depthwise Separable Convolution）的架构，它起源于Google的Inception系列网络，特别适合在资源有限的设备上，如移动设备上运行，因为它显著减少了模型的计算复杂度和参数量。...
Keras实现MobileNet模型：手机端识别应用
它的设计理念是通过使用深度可分离卷积（depthwise separable convolution）来降低模型的参数数量和计算复杂度。与标准卷积操作相比，深度可分离卷积首先将输入通道分开，对每个输入通道执行空间卷积，然后对所有的...
论文阅读学习 - (DeeplabV3+)Encoder-Decoder with Atrous Separable Convolution
长风破浪会有时，直挂云帆济沧海
03-14 8430
论文阅读学习 - (DeepLabV3+)Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation [Paper] [Code-TensorFlow] 摘要： 空间金字塔池化模块(spatial pyramid pooling，SPP) 和 编码-解码结构(encode-...
MobileNet 深度可分离卷积（depthwise separable convolution）
ding_programmer的博客
02-27 1978
简介 MobileNet作为一个，轻量级的网络，可以在移动设备上进行训练，关键是采用了 深度可分离卷积（depthwise separable convolution）来提高效率，下面注重介绍介绍 深度可分离卷积。 传统卷积方法 假设输入特征图大小为 DF×DF×MD_F×D_F×MDF​×DF​×M，输出特征图大小为 DF×DF×ND_F×D_F×NDF​×DF​×N，卷积核大小为 DK×DK×...
depthwise separable convolution
jwy2014的专栏
09-10 889
Depthwise Convolutionhttps://blog.csdn.net/u012426298/article/details/80998547 每个卷积核滤波器只针对特定的输入通道进行卷积操作，如下图所示，其中M是输入通道数，DK是卷积核尺寸： 图7 Depthwise Convolution[9] Depthwise convolution的计算复杂度为 DKDKMDFD...
depthwise separable convolution，深度可变卷积
Ztomepic的博客
12-31 296
深度可变卷积把传统的卷积过程分成两步：depthwise convolution和pointwise convolution。 depthwise convolution：过滤器的层数等于输入通道数，输出的featuremap的层数也就等于输入的通道数。 pointwise convolution：类似常规卷积操作，filter尺寸是1×1×M×N。M是上层输入通道数，输出featuremap数...
【深度学习】Depthwise Sparable Convolution（Xception的核心模块）
zzmmjj的博客
01-28 1617
Depthwise Separable Convolution 1.简介 Depthwise Separable Convolution 是谷歌公司于2017年的CVPR中在论文”Xception: deep learning with depthwise separable convolutions”中提出。 2.结构简介 对输入图片进行分通道卷积后做1*1卷积。结构如下图： 举例
depthwise convolution/深度可分离卷积
NCU_wander的博客
02-19 2033
在有关于前面的全卷积全连接网络的查询中，需要对计算量参数量进行了解，由此引申到深度可分离卷积对参数量的巨幅消减。在本文中对此进行总结。 综述： Depthwise Separable Convolution主要思想是对传统卷积做了一个分解：将传统卷积分成depthwise和pointwise两步来完成。其中depthwise就是对输入特征的每一层的feature map仅仅单独使用一个filter...
Depthwise Convolution深度可分离卷积
qq_37464479的博客
02-27 3682
Depthwise Convolution 是一种轻量级的卷积操作，通过将标准卷积拆分成深度上的卷积（Depthwise Convolution）和点卷积（Pointwise Convolution）两个部分来减少计算量。在深度可分离卷积中，“dw weight” 通常指的是深度卷积的权重参数。在使用深度可分离卷积时，可以使用较小的卷积核和较少的参数量来构建更深、更宽的神经网络。，对于每个输入通道，都使用这个尺寸的卷积核进行卷积操作。深度卷积是一种只对输入的每个通道进行卷积的操作。是输入数据的通道数。
探索深度卷积（Depthwise Convolution）：效率与性能并存的新境界
gitblog_00019的博客
04-16 633
探索深度卷积（Depthwise Convolution）：效率与性能并存的新境界 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的深度学习时代，我们不断寻找优化模型性能和减少计算资源的方法。 是一个专为此目的而设计的技术，它由 Yongheng Li 开发并开源，提供了一种更高效、轻量级的卷积操作。 项目简介 Depthwise Convolution 项目是一...
Depthwise卷积convolution
T_J_S的博客
07-04 7866
不同于常规卷积操作，Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积。上面所提到的常规卷积每个卷积核是同时操作输入图片的每个通道。 同样是对于一张5×5像素、三通道彩色输入图片（shape为5×5×3），Depthwise Convolution首先经过第一次卷积运算，不同于上面的常规卷积，DW完全是在二维平面内...
深度可分离卷积（depthwise separable convolution）简单介绍
m0_43395719的博客
08-04 6454
1. 普通卷积 举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32，一般的操作就是用32个3×3的卷积核来分别同输入数据卷积，这样每个卷积核需要3×3×16个参数，得到的输出是只有一个通道的数据。之所以会得到一通道的数据，是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积，然后叠加每一个通道对应位置的值，使之变成了单通道，那么32个卷积核一共需要(3×3×16)×32 =4068个参数。 假设 H x W 为输出feature map的空间大小，N为输入通道数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值