卷积核分解、深度可分离卷积

最新推荐文章于 2024-08-15 09:08:57 发布
最新推荐文章于 2024-08-15 09:08:57 发布
阅读量1.3k 收藏 5
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42026651/article/details/108378948
版权

卷积核分解

参考于：《深度学习与目标检测》 杜鹏 仅供学习交流

GoogLeNet团队在Inception v2 ：较大尺寸的卷积核可以带来较大的感受野，但也会带来更多的参数和计算量。
用两个连续的3X3的卷积核来代替一个5X5的卷积核，在保证感受野大小不变的同时可以减少参数个数，如下图
在这里插入图片描述
两个3X3的卷积核的参数数量为18，一个5X5的卷积核的参数数量为25，由此可见参数数量得以减少，且感受野大小不变。
一个nXn的卷积核可以由1Xn和nX1的卷积核组合代替。例如，当n为3时
在这里插入图片描述
在网络低层使用这个方法不好，在中等大小的特征图上使用这个方法效果比较好，建议在第12层到第20层使用。

深度可分离卷积

https://zhuanlan.zhihu.com/p/92134485

福尔摩斯帅双
关注
专栏目录
pytorch 1D卷积与1D深度可分离卷积
weixin_45424997的博客
07-28 3557
1.传统一维卷积： 2.改变groups： 将Input的通道分成groups个独立的通道，分别进行卷积。相应的卷积核的通道数也会减小，如下图所示。 下图将64个通道分成32个groups，每个组由两个通道构成，时间维保持不变。一个1d卷积核的大小为(64 / 32, kernel)。 由于output_channels = 128。 对每个group卷积一次会得到输出的一个channel，所以需要对32个group卷积（output_channels / groups = 128/32）4遍。因此要求o
可分离卷积基本介绍
04-11
可分离卷积基本介绍，A Basic Introduction to Separable Convolutions。
卷积核的分解技巧
weixin_38132729的博客
01-05 4039
1、Bottleneck卷积核   Bottleneck卷积核的特点是能够降低特征数据的维度减少计算量，增加模型的非线性表达能力。 Bottleneck卷积核可以改变原始输入数据的通道数，而3×3卷积核可以通过组合多个卷积核的方式实现大尺寸卷句话饿的卷积效果。 在卷积核大小和步长不变的情况下，连续使用两个3×3卷积核得到的特征图大小相当于使用1个5× 5卷积核得到的特征图大小。参数数量从26（5×5+1）降到20（（3×3+1）×2），而且由两个3×3卷积核得到的网络层数更多。 假设图像大小为n×n,经过5
RepLKNet: 大核卷积网络的新探索
最新发布
gitblog_00387的博客
08-15 931
RepLKNet: 大核卷积网络的新探索 RepLKNet项目地址:https://gitcode.com/gh_mirrors/rep/RepLKNet RepLKNet 是一款基于深度学习的卷积神经网络(CNN)，由Megvii Research开发并在CVPR 2022上发表。该网络重新审视了大型卷积核在CNN设计中的作用，利用重参数化技术和Depthwise卷积，实现了高性能、高精度和高...
可分离卷积核
吃葡萄不吐葡萄皮
11-15 277
在图像处理中，卷积操作是一种常用的技术，可分离卷积核（Separable Convolution Kernel）是一种特殊类型的卷积核，其可以分解成水平和垂直两个单独的核函数，这种分解使得卷积计算变得更加高效。
二维图像处理中的可分离卷积核
贾路飞的博客
07-11 4890
本文参考书籍《Opencv算法精解》，作者：张平 可分离卷积核的定义 如果一个卷积核至少由两个尺寸比它小的卷积核full卷积而成，并且在计算过程中在所有边界处均进行扩充零的操作，且满足 其中的尺寸比小，，则称该卷积核是可分离的。 在二维图像处理中经常将一个卷积核分为一维水平方向和一维垂直方向上...
深度可分离卷积
chumingqian的博客
03-20 327
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。
深度可分离卷积网络的理论与实战（TF2.0）
12-20
总结来说，深度可分离卷积网络是一种有效的模型优化技术，它通过将卷积分解为两个更简单的步骤，减少了计算复杂度，使模型能够在移动设备上实现高效的运行，同时保持良好的性能。在TensorFlow 2.0等深度学习框架中，...
TensorFlow2.0(十)–实现深度可分离卷积神经网络
12-21
总的来说，深度可分离卷积网络是卷积神经网络的一个高效变体，它通过分解卷积操作以减少计算负担，同时保持了模型的性能。在资源受限的场景下，如移动设备或嵌入式系统，深度可分离卷积网络是一个理想的解决方案。...
从Xception网络中聊聊深度可分离卷积
奥古斯都
07-20 729
Xception: Deep Learning with Depthwise Separable Convolutions，在这篇文章中应用了深度可分离卷积。对于卷积来说可以看作三维的滤波器：通道维度+空间维度，常规的卷积就实现空间相关性和通道相关性。传统的卷积就是把所有通道当作一个整体来进行卷积，而在Xception文章中把通道数进行分组然后再卷积，然后再联合。 这幅图和Xception最接近，先进行1*1的卷积，然后再每个通道上进行3*3的卷积。将这个结果Concat起来就是卷积的结果，当然这也是
【Deep Learning 7】深度可分离卷积
zzqingyun的博客
02-21 1793
🌞欢迎来到Pytorch的世界🌟本文由卿云阁原创！📆首发时间：🌹2024年2月21日🌹✉️希望可以和大家一起完成进阶之路！🙏作者水平很有限，如果发现错误，请留言轰炸哦！
【OpenCV 例程200篇】55. 可分离卷积核
youcans的博客
12-10 3400
线性滤波器就是指基于线性核的滤波，也就是卷积运算。 如果卷积核可以被分解为两个或多个较小尺寸卷积核，则称为可分离卷积核。 随着图像尺寸与卷积核尺寸的增大，用分离的卷积核依次对图像进行卷积操作，可以有效地提高运算速度。
CNN训练细节：卷积核分解
yangzixuan_0608的博客
08-01 2643
背景：最近看到一些分解卷积层的方法，比如三个3×3的卷积层替代一个7×7的卷积层，或者两个3乘3的卷积层替代一个5×5的卷积层，本文主要是个人粗浅的分析下原因 一、两个3乘3的卷积层替代一个5×5的卷积层 经典原理网图： 如图所示： 对于两层3×3的卷积层而言 最上面一层的3×3卷积层，每个1×1区域的感知野都是3×3 第二层的3×3卷积层，每个1×1区域的感知野还是3×3 所以两...
深度可分离卷积的理解
qq_34425255的博客
03-20 809
分析：在MobileNet论文里面，可以看到这个图，画的比较简陋，这个图就是标准卷积的卷积核，每一个卷积都是Dk乘Dk乘M的，这个M是和输入的M个通道对应，而depthwise卷积，每一个卷积核的通道只有一个，就是一个薄片片，有M个通道，这M个通道数是和输入的M个通道数对应的，而pointwise卷积都是1乘1的卷积，都是大小为1乘1，然后通道数为M，因为把M个channel中间层结果摞起来了，所以这是一个标准的卷积，只不过卷积核大小变成了1乘1，通道数是M，总共有N个1乘1卷积核，这就是深度可分离卷积。
二维离散卷积之可分离卷积核
计算机科学与技术专业学生的成长之路
04-09 3353
学习资料参考： 张平.《OpenCV算法精解：基于Python与C++》.[Z].北京.电子工业出版社.2017. 概念 类比于线性代数中的两个矩阵的乘法运算。如果一个卷积核至少由两个尺寸比它小的卷积核full卷积而成，如下所示： 那么这样的卷积核就可以分离。上述例子是分离为一维水平方向和一维垂直方向上的卷积核。当分离的一般不满足交换律。 性质 full卷积 若卷积核可分离，那么我们进行卷积的时候，可以按照分离后，再进行卷积，如下所示： 一般的卷积计算如下： I=(1231012324312
卷积神经网络-深度可分离卷积
weixin_38498942的博客
06-18 1135
一、简介 MobileNet架构中提出的有空间可分离卷积和深度可分离卷积，本文中我们将着重介绍深度可分离卷积实现及其意义。 二、深度可分离卷积 空间可分离卷积： 从概念上讲，这是两者中较容易的一个，并说明了将一个卷积分成两部分（两个卷积核）的想法，所以我将从这开始。 不幸的是，空间可分离卷积具有一些显着的局限性，这意味着它在深度学习中没有被大量使用。 空间可分卷积之所以如此命名，是因为它主要处理图像和卷积核（kernel）的空间维度：宽度和高度。 （另一个维度，“深度”维度，是每个图像的通道数）。 空间可分
一些卷积操作分解
一路嵌行的博客
02-20 1041
Opencv7：卷积核分离优化均值滤波函数
weixin_39504171的博客
07-16 725
Opencv7：卷积核分离优化均值滤波函数 （1)卷积核分离优化思路: ①优化处理1： 将图像与m*n的卷积核卷积的操作，分解为图像先与1*n的卷积核进行水平方向卷积，再与m*1的卷积核进行竖直方向卷积的操作，可减少运算量。 ②优化处理2： 当卷积核在水平方向（或竖直方向）移动并处理像...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值