MixConv：混合感受野的深度可分离卷积

最新推荐文章于 2020-09-15 18:36:04 发布
最新推荐文章于 2020-09-15 18:36:04 发布
阅读量2k 收藏 12
点赞数 3
文章标签： 深度学习 CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20759449/article/details/102852760
版权
原文链接：MixConv：混合感受野的深度可分离卷积 | Hey~YaHei!继EfficientNet和CondConv之后，我们再来聊聊Google Brain的另一篇图像特征提取相关的论文《MixConv: Mixed Depthwise Convolutional Kernels(2019BMVC)》，作者采用类似inception的大小核混合卷积结果，再结合深度可分离卷积的特性，做到少...
摘要由CSDN通过智能技术生成

原文链接：MixConv：混合感受野的深度可分离卷积 | Hey~YaHei!

继EfficientNet和CondConv之后，我们再来聊聊Google Brain的另一篇图像特征提取相关的论文《MixConv: Mixed Depthwise Convolutional Kernels(2019BMVC)》，作者采用类似inception的大小核混合卷积结果，再结合深度可分离卷积的特性，做到少量的额外代价即可提升卷积的特征提取能力。

混合感受野的卷积

MixConv的作者在MobileNet上做了几个简单实验，把原版的3x3卷积统一替换为更大的卷积，然后观察模型特征提取能力的变化——
在这里插入图片描述

发现，随着卷积核的增大，其特征提取能力会随之增大，但超过某个值之后就反而会减小。并且指出，

  1. 大核卷积擅长提取大感受野特征，而小核卷积擅长提取小感受野特征
  2. 高感受野特征和小感受野特征是互补关系，并不是说大感受野特征一定比小感受野特征要好（可以考虑卷积核与特征图尺寸相当的极端情况&
最低0.47元/天 解锁文章
hey-yahei
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度可分离卷积_MixNets将多尺度深度卷积引入NAS
weixin_39834678的博客
12-17 450
摘要:MixNet 是google在AutoML领域的又一力作，深度分离卷积在当前轻量级卷积神经网络得到广泛应用，但其卷积核尺寸却很少得到关注，比如目前网络主体只使用3*3尺寸的卷积核。论文首先分析了在深度分离卷积中使用不同尺寸的深度卷积核对最终结果的影响，进而又进行实验证明组合多尺寸卷积核可以取得更好的精度与效率。基于以上实验结论，论文提出一种新的混合深度卷积(Mixed Depthw...
深度探索：机器学习中的混合尺度卷积算法原理及其应用
最新发布
qq_51320133的博客
04-24 804
混合尺度卷积作为深度学习中一种有效的特征提取手段，通过融合不同尺度的卷积核，显著提升了模型在处理复杂视觉任务时的表征能力和鲁棒性。尽管存在计算复杂度增加、设计与调参难度增大等挑战，但随着硬件加速技术的进步以及更先进的网络架构设计，这些问题有望得到缓解。未来研究可进一步探索更为高效的多尺度特征融合机制、自适应尺度选择策略以及与其它前沿技术（如注意力机制、动态卷积等）的深度融合，推动混合尺度卷积在更多视觉任务中的应用与创新。
[论文]MixNet——MixConv: Mixed Depthwise Convolutional Kernels
行云
01-08 931
arXiv地址：https://arxiv.org/abs/1907.09595 abstract 深度卷积在现代高效卷积神经网络中越来越受欢迎，但其核大小却常常被忽略。在本文中，我们系统地研究了不同核大小的影响，并观察到将不同尺寸核的优点结合起来可以获得更好的精度和效率。在此基础上，我们提出了一种新的混合深度卷积（MixConv），它很自然地将多个核大小混合在一个卷积中。我们的Mix...
MXNet动手学深度学习笔记：卷积计算
视觉与物联智能
05-09 338
  #coding:utf-8 ''' 卷积计算 ''' import mxnet as mx from mxnet.gluon import nn from mxnet import ndarray as nd # 卷积层 # 输入输出的数据格式是： batch * channel * height * width # 权重格式：output_channels * in_channels ...
感受野
diansheng4803的博客
06-28 150
感受野是在对图像进行处理时出现的一个概念，它的含义是卷积神经网络每一层输出的特征图上的像素点在原始图像上银蛇区域的大小。 感受野拥有以下情况需要注意： （1）第一层卷积层的输出特征图像素的感受野的大小等于滤波器的大小； （2）深层卷积层的感受野大小和它之前所有层的滤波器的大小和步长有关； （3）计算感受野大小时，忽略了图像边缘的影响，即不考虑padding的大小。 转载于:ht...
MixConv：混合感受野的深度可分离卷积（Pytorch实现）
10-18
MixConv 是一种较新的混合感受野的深度可分离卷积，在各个网络下测试均具有很好的效果，可以作为传统卷积层的替代！！！ 本文件是MixConv的Pytorch实现版本
深度学习：Keras入门(二)之卷积神经网络(CNN)
01-26
卷积神经网络（CNN）是深度学习领域中用于图像处理和计算机视觉任务的重要模型。Keras是一个高级神经网络API，可以方便地构建和训练复杂的CNN模型。本篇将深入介绍Keras中的CNN基本概念和结构。 1. **卷积运算**： ...
卷积网络中的感受野详解
01-07
在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域，如图1所示。 ...
感受野特征增强的SSD目标检测算法
05-06
该算法将不同层及不同尺度的特征图以轻量级的方式相融合，下采样层生成新的特征图，通过引入感受野模块，提高网络的特征提取能力，增强特征的表征能力和鲁棒性.和传统SSD算法相比，本文算法在精度上有明显提升，同时...
CondConvContinual：涂成浩，吴成恩和陈楚松，“扩展条件卷积结构以增强多任务持续学习”，亚太信号和信息处理协会亚太峰会，APSIPA ASC 2020年会
02-19
CondConvContinual 这是Pytorch官方实现 屠成浩，吴成恩和陈楚松创作 该代码仅供学术研究使用。 对于商业用途，请联系教授（ ）。 基准测试 介绍 在最近的深度学习研究中，条件运算已经引起了很多关注，以促进模型的预测准确性。 向此方向的最新进展是条件参数卷积（CondConv），提出利用条件深层模型权重提供的附加容量来增强性能，而对模型的计算复杂性的影响则要小得多。 CondConv使用依赖于输入的融合参数，这些参数可以自适应地组合多列卷积内核以提高性能。 在运行时，内核的列被在线组合成一个，因此，时间复杂度远小于在相同容量下在卷积层中使用多个列的时间复杂度。 尽管CondConv对于增强深层模型的性能有效，但目前仅应用于单个任务。 由于它具有添加模型权重和提高计算效率的良好特性，因此我们将其扩展到多任务学习，其中任务以递增方式呈现。 在这项工作中，我们介绍了一种基
深度学习——卷积神经网络
01-20
- **感受野**：卷积运算中，一个输出元素受到影响的输入区域。随着网络层次加深，单个输出元素的感受野变大，能捕捉更广泛的输入信息。 - **卷积层的超参数**：包括**填充（padding）**和**步幅（stride）**。填充...
[网络模型]MixNet——MixConv: Mixed Depthwise Convolutional Kernels
weixin_41059269的博客
08-11 2079
MixConv: Mixed Depthwise Convolutional Kernels   论文地址：MixConv: Mixed Depthwise Convolutional Kernels   这篇论文由Google Brain发表，主要讨论了深度可分离卷积中被忽略的一个问题：卷积核的尺寸大小。在这篇文章中，作者系统性的分析了不同卷积核大小的影响，并且观察到有效的结合不同尺寸的卷积核可...
MixConv：来自Google Brain的混合Depthwise卷积核
AI蜗牛车
09-15 484
作者：Shreejal Trivedi编译：ronghuaiyang转载：AI公园导读带你理解Google开发的一种depthwise卷积的新范式。卷积神经网络是一种复杂的计算模型。模型...
《MixConv--混合的深度卷积核》论文阅读笔记
JR_Chan的博客
09-11 2342
MixNet  这篇文章来自谷歌大脑，是最近（19年7月）刚挂出来的，然后应该是发表在了BMVC 2019上。原文可见MixConv: Mixed Depthwise Convolutional Kernels。 摘要  深度卷积在现代高效卷积神经网络中越来越受欢迎，但其核大小却常常被忽略。在本文中，我们系统地研究了不同核大小的影响，并观察到将不同尺寸核的优点结合起来可以获得更好的精度和效率。在...
CondConv：按需定制的卷积权重
hey-yahei
10-31 6049
原文链接：CondConv：按需定制的卷积权重 | Hey~YaHei! 最近正巧在看条件计算的东西，发现今年Google Brain发了一篇思路清奇的论文《CondConv: Conditionally Parameterized Convolutions for Efficient Inference(2019NeurIPS)》，这思路简直让人拍案叫绝，只可惜这种模型需要重新定制卷积算子才能有...
深度可分离卷积
热门推荐
GL
03-22 1万+
下面这个文章介绍了深度可分离卷积是怎么做的：https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728。（我记得有一片文章证明了深度可分离卷积和正常卷积是等效的，但是暂时没找到链接。） 正常卷积 原始图像是12x12的，由于是RGB格式的，所以有三个通道。其输入图片格式是：12...
深度可分离卷积 Depthwise Seperable Convolution
Breeze
03-27 9175
前言 在原始图像卷积网络的基础上，经过不断的改进和优化，出现了如分组卷积（Group convolution）、空洞卷积（Dilated convolution 或 À trous），深度可分离卷积（Depthwise Seperable Convolution）等各式各样的卷积改进形式。 Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作深度可分离卷积,是首先由Goog...
深度可分离卷积有什么作用
08-16
深度可分离卷积是一种卷积操作的变体，它在卷积神经网络中具有以下作用： 1. 减少参数量：深度可分离卷积将标准卷积分解为两个步骤：深度卷积和逐点卷积。深度卷积只考虑通道之间的相关性，而逐点卷积则只考虑空间上的相关性。这种分解方式大大减少了参数数量，从而降低了模型的复杂度。 2. 减少计算量：由于深度可分离卷积的参数量减少，所需计算的乘法和加法操作也相应减少。这意味着在训练和推理过程中，使用深度可分离卷积可以加快计算速度，减少资源消耗。 3. 提高感受野：深度可分离卷积在深度卷积阶段进行通道间的特征提取，逐点卷积阶段则进行空间上的特征整合。这种方式可以扩大感受野，使得网络能够更好地捕捉到不同尺度的特征。 4. 增强模型泛化能力：深度可分离卷积具有较强的局部化特性，可以更好地保留和提取图像中的细节信息。这有助于提高模型的泛化能力，使其在不同的数据集和任务上表现更好。 总之，深度可分离卷积通过减少参数量和计算量、扩大感受野以及增强模型泛化能力等方面的作用，成为了卷积神经网络中常用的卷积操作之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值