卷积核分解、深度可分离卷积

最新推荐文章于 2023-12-14 05:43:20 发布
最新推荐文章于 2023-12-14 05:43:20 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42026651/article/details/108378948
版权

卷积核分解

参考于：《深度学习与目标检测》 杜鹏 仅供学习交流

GoogLeNet团队在Inception v2 ：较大尺寸的卷积核可以带来较大的感受野，但也会带来更多的参数和计算量。
用两个连续的3X3的卷积核来代替一个5X5的卷积核，在保证感受野大小不变的同时可以减少参数个数，如下图
在这里插入图片描述
两个3X3的卷积核的参数数量为18，一个5X5的卷积核的参数数量为25，由此可见参数数量得以减少，且感受野大小不变。
一个nXn的卷积核可以由1Xn和nX1的卷积核组合代替。例如，当n为3时
在这里插入图片描述
在网络低层使用这个方法不好，在中等大小的特征图上使用这个方法效果比较好，建议在第12层到第20层使用。

深度可分离卷积

https://zhuanlan.zhihu.com/p/92134485

福尔摩斯帅双
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度可分离卷积网络的理论与实战（TF2.0）
12-20
总结来说，深度可分离卷积网络是一种有效的模型优化技术，它通过将卷积分解为两个更简单的步骤，减少了计算复杂度，使模型能够在移动设备上实现高效的运行，同时保持良好的性能。在TensorFlow 2.0等深度学习框架中，...
卷积核的分解技巧
weixin_38132729的博客
01-05 3949
1、Bottleneck卷积核   Bottleneck卷积核的特点是能够降低特征数据的维度减少计算量，增加模型的非线性表达能力。 Bottleneck卷积核可以改变原始输入数据的通道数，而3×3卷积核可以通过组合多个卷积核的方式实现大尺寸卷句话饿的卷积效果。 在卷积核大小和步长不变的情况下，连续使用两个3×3卷积核得到的特征图大小相当于使用1个5× 5卷积核得到的特征图大小。参数数量从26（5×5+1）降到20（（3×3+1）×2），而且由两个3×3卷积核得到的网络层数更多。 假设图像大小为n×n,经过5
InceptionNeXt
whaosoft143ai的博客
04-02 702
whaosoft aio在一个卷积视觉模型中，并不是所有的输入通道都需要经历计算成本高昂的 Depth-wise Convolution 运算。因此，作者提出保留部分信道不变，只对部分信道进行深度卷积运算。首先对大核进行分解，分成几组晓得卷积核。1/3 的通道以 3×3 为核，1/3 的通道以 1×k 为核，剩下的 1/3 的通道以 k×1 为核。这个新的方式称为 Inception Depthwise Convolution，基于它构建的模型 InceptionNeXt 在精度和速度之间实现了更好的平衡。
YOLOv8算法改进【NO.92】使用大核分离卷积注意力模块Large Separable Kernel Attention（LSKA）改进SPPF模块
最新发布
m0_70388905的博客
12-14 1811
使用大核分离卷积注意力模块Large Separable Kernel Attention（LSKA）改进SPPF模块
CNN训练细节：卷积核分解
yangzixuan_0608的博客
08-01 2602
背景：最近看到一些分解卷积层的方法，比如三个3×3的卷积层替代一个7×7的卷积层，或者两个3乘3的卷积层替代一个5×5的卷积层，本文主要是个人粗浅的分析下原因 一、两个3乘3的卷积层替代一个5×5的卷积层 经典原理网图： 如图所示： 对于两层3×3的卷积层而言 最上面一层的3×3卷积层，每个1×1区域的感知野都是3×3 第二层的3×3卷积层，每个1×1区域的感知野还是3×3 所以两...
卷积拆分与分组卷积的典型代表网络的总结
YOULANSHENGMENG的博客
11-05 4286
1，卷积常规参数计算 2 ，什么是卷积拆分 一个多通道的普通2D卷积包含了三个维度，分别是通道，长，宽，如下图(a)。 然后将这个卷积的步骤分解为3个独立的方向[1]，即通道方向，X方向和Y方向，如上图(b)，则具有更低的计算量和参数量。 假如X是卷积核宽度，Y是卷积核高度，C是输入通道数，如果是正常的卷积，那么输出一个通道，需要的参数量是XYC，经过上图的分解后，参数量变为X+Y+C，一般来说C>>X和Y，所以分解后的参数对比之前的参数约为1/(XY...
TensorFlow2.0(十)–实现深度可分离卷积神经网络
12-21
总的来说，深度可分离卷积网络是卷积神经网络的一个高效变体，它通过分解卷积操作以减少计算负担，同时保持了模型的性能。在资源受限的场景下，如移动设备或嵌入式系统，深度可分离卷积网络是一个理想的解决方案。...
python实现卷积，通道卷积
09-23
可分离卷积（Depthwise Separable Convolution）是一种优化卷积运算效率的方法，它将标准卷积分解为两个步骤：深度卷积和逐点卷积。深度卷积是针对每个输入通道单独应用一个滤波器，而逐点卷积则是在所有通道上应用...
tf.keras_分类模块_CNN-深度可分离.ipynb_nose8eu_keras_CNN_tf.keras_分离卷积_
09-29
3. **深度可分离卷积**：在`tf.keras`中，"分离卷积"指的是深度可分离卷积（Depthwise Separable Convolution）。这是一种优化计算效率的卷积方式，它将传统的卷积操作分解为两个步骤：深度卷积（Depthwise ...
基于深度分离卷积神经网络的高速高精度SAR舰船检测.pdf
09-25
而深度分离卷积（Depthwise Separable Convolution）则将卷积分解为两个步骤：首先进行深度卷积（Depthwise Convolution），每个通道独立进行一维卷积，仅处理空间信息；然后是逐点卷积（Pointwise Convolution），...
二维图像处理中的可分离卷积核
贾路飞的博客
07-11 4782
本文参考书籍《Opencv算法精解》，作者：张平 可分离卷积核的定义 如果一个卷积核至少由两个尺寸比它小的卷积核full卷积而成，并且在计算过程中在所有边界处均进行扩充零的操作，且满足 其中的尺寸比小，，则称该卷积核是可分离的。 在二维图像处理中经常将一个卷积核分为一维水平方向和一维垂直方向上...
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
[模型压缩/加速]-加速卷积计算的三种方法-Depth-wise Conv、Group Conv、Channel-wise Conv
ai_faker的博客
11-03 5557
1.概念简介 假设输入尺寸大小为aa、通道 为n，输出通道数为m，卷积核大小为bb，步长为1.那么 计算量为 FLOPs = a * a * n * m * b * b 参数量为 b * b * n * m 这就是传统卷积的计算方式，可以看到，当a、b、n、m相对较大的时候，造成的计算量是非常大的，所以就有降低模型大小与计算量的需要。 2.Depth-wise Conv 出自论文《MobileNets: Efficient Convolutional Neural Networks for Mobile V
一些卷积操作分解
一路嵌行的博客
02-20 1009
图解AI：各种类型的卷积-标准卷积、反卷积、可分离卷积、分组卷积等
BigDream123的博客
06-02 4029
一、卷积的基本属性 卷积核（Kernel）：卷积操作的感受野，直观理解就是一个滤波矩阵，普遍使用的卷积核大小为3×3、5×5等； 步长（Stride）：卷积核遍历特征图时每步移动的像素，如步长为1则每次移动1个像素，步长为2则每次移动2个像素（即跳过1个像素），以此类推； 填充（Padding）：处理特征图边界的方式，一般有两种，一种是对边界外完全不填充，只对输入像素执行卷积操作，这样会使输出特征图的尺寸小于输入特征图尺寸；另一种是对边界外进行填充（一般填充为0），再执行卷积操作，这样可使输出特征图的
卷积核类型简介
Lily的博客
05-16 2594
卷积核类型简介 一个简短的介绍卷积使用“kernel”从输入图像中提取某些“特征”。kernel是一个矩阵，可在图像上滑动并与输入相乘，从而以某种我们期望的方式增强输出。看下面的GIF。上面的kernel可用于锐化图像。但是这个kernel有什么特别之处呢？考虑下图所示的两个输入图像。第一个图像，中心值为3 * 5 + 2 * -1 + 2 * -1 + 2 * -1 + 2 * -1 =7，值3增加到7。第二个图像，输出是1 * 5 + 2 * -1 + 2 * -1 + 2 * -1 + 2 * -1
各种卷积层的理解（深度可分离卷积、分组卷积、扩张卷积、反卷积）
热门推荐
gwpscut的博客
05-06 5万+
最近在研究卷积网络的改性，有必要对各种卷积层的结构深入熟悉一下。为此写下这篇学习笔记。 文章大部分内容来自于网络的各种博客总结，本博文仅仅作为本人学习笔记，不做商业用途。 目录 2D卷积 3D卷积 1*1卷积 空间可分离卷积（separable convolution） 深度可分离卷积（depthwise separable convolution） 分组卷积（Group conv...
变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。
mmc2015的专栏
08-31 2万+
总结的非常好，故转来，如果侵权，请告知，会及时删掉。 大家还是去看原文好，作者的文章都不错： https://zhuanlan.zhihu.com/p/28749411 https://www.zhihu.com/people/professor-ho/posts 写文章 变形卷积核、可分
卷积神经网络-深度可分离卷积
weixin_38498942的博客
06-18 1121
一、简介 MobileNet架构中提出的有空间可分离卷积和深度可分离卷积，本文中我们将着重介绍深度可分离卷积实现及其意义。 二、深度可分离卷积 空间可分离卷积： 从概念上讲，这是两者中较容易的一个，并说明了将一个卷积分成两部分（两个卷积核）的想法，所以我将从这开始。 不幸的是，空间可分离卷积具有一些显着的局限性，这意味着它在深度学习中没有被大量使用。 空间可分卷积之所以如此命名，是因为它主要处理图像和卷积核（kernel）的空间维度：宽度和高度。 （另一个维度，“深度”维度，是每个图像的通道数）。 空间可分
卷积操作和深度可分离卷积操作的区别
05-03
卷积操作（Convolution）是一种常见的神经网络操作，它在图像处理、语音识别、自然语言处理等领域都得到广泛应用。卷积操作的核心思想是通过卷积核对输入数据进行扫描，提取特征信息。 深度可分离卷积（Depthwise Separable Convolution）是一种卷积操作的变种。它将标准的卷积操作分解成两个步骤：深度卷积和逐点卷积。深度卷积只涉及通道之间的卷积，而逐点卷积只涉及每个通道内的卷积。这种分解可以大大减少计算量和参数数量。 具体来说，深度可分离卷积首先对每个通道内的每个位置应用不同的卷积核，然后将通道内的结果加起来。接下来，逐点卷积将对所有通道应用一个 $1 \times 1$ 的卷积核，以组合不同通道的特征。这个过程可以用下面的公式表示： $$y = PW(DW(x))$$ 其中，$x$ 是输入数据，$DW$ 是深度卷积操作，$PW$ 是逐点卷积操作，$y$ 是输出数据。 深度可分离卷积相对于标准卷积操作的主要优点有： 1. 计算量大大减少：深度卷积和逐点卷积的计算量都比标准卷积小得多，因此总体计算量也大大减少。 2. 参数数量减少：深度卷积和逐点卷积的卷积核数量都比标准卷积少，因此参数数量也减少了。 3. 更好的泛化性能：由于深度可分离卷积可以更好地捕捉局部特征，因此在一些图像分类、目标检测等任务中，它的泛化性能更好。 总之，深度可分离卷积是一种优秀的卷积操作，可以在保持模型准确率的同时大大减少计算量和参数数量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值