SKNet网络结构概要解读

最新推荐文章于 2025-02-22 01:00:00 发布
最新推荐文章于 2025-02-22 01:00:00 发布
阅读量3.8k 收藏 6
点赞数
分类专栏： DL # 网络结构基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34686158/article/details/106426184
版权
SKNet旨在根据输入信息的多种尺度自适应调整接受域大小，通过结合3x3和5x5（或3x3 dilation=2）卷积，形成双分支结构。类似SE模块，它使用全局平均池化和全连接层生成权重矩阵，用于加权特征图，实现选择性卷积。文章介绍了SKNet的基本原理，并指出其可扩展到多分支结构。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本篇主要介绍SKNet，其他相关系列及其变体见如下blog目录

ResNet系列及其变体目录

提到SKNet，自然会想到SENet，SENet见SENet网络结构概要解读

Selective Kernel Networks

SKNet出发点：构建一种模型，使网络可以根据输入信息的多个尺度自适应的调节接受域大小

在这里插入图片描述

  • Split.使用不同的卷积核对原图进行卷积。对输入向量X进行不同卷积核大小的完整卷积操作(包括efficient grouped/depthwise convolutions，Batch Normalization，ReLU function)。在本文，选取的3x3和5x5卷积，得到两个feature map。为了进一步的效率，将5x5的传统卷积替代为dilation=2，卷积核为3x3的空洞卷积。

  • Fuse.类似SE模块的处理，两个feature map相加后，进行全局平均池化操作，全连接先降维再升维的为两层全连接层，输出的两个矩阵a和b，其中矩阵b为冗余矩阵，

最低0.47元/天 解锁文章
SKNet讲解
走在深度学习前沿的小宋
05-26 3005
视皮层神经元的感受野大小受刺激的调节，即对不同刺激，卷积核的大小应该不同，但在构建CNN时一般在同一层只采用一种卷积核，很少考虑因图片大小不同采用不同卷积核。 于是提出了SKNet。在SKNet中，不同大小的感受视野（卷积核）对于不同尺度的目标会有不同的效果。尽管在Inception中使用多个卷积核来适应不同尺度图像，但是卷积核权重相同，参数就是被计算好的了。而SKNet对不同输入使用的卷积核感受野不同，参数权重也不同，可以根据输入大小自适应的进行处理。
即插即用的涨点模块之注意力机制（SKAttention）详解及代码，可应用于检测、分割、分类等各种算法领域
qq_51511878的博客
04-20 7222
SKNet来源：CVPR2019官方代码：什么是感受野？感受野（receptive field）是指在网络的前向传播过程中，每个神经元对输入数据的区域大小。换句话说，它表示了神经元在输入空间中接收信息的范围。在图像处理任务中，神经元的感受野大小通常与输入图像的像素大小有关。较小的感受野可以捕获局部细节，而较大的感受野则可以捕获更大范围的整体结构和语境信息。因此，设计合适大小的感受野对于不同的任务和网络架构至关重要。SKAttention能够根据输入动态选择不同大小的卷积核。
Selective Kernel Networks|SKNet网络结构概要解读
Akita·Wang's Semantic Segmentation
06-01 1276
目录摘要介绍结构Split.Fuse.Select.参数设计原则网络设计参数 论文 Code SKNet出发点：构建一种模型，使网络可以根据输入信息的多个尺度自适应的调节接受域大小 摘要 我们在中枢神经系统中提出了一种动态选择机制，允许每个神经元基于多尺度的输入信息自适应地调整其感受野大小。设计了一种称为选择性核单元的构造块，其中使用由这些分支中的信息引导的softmax注意力来融合具有不同核大小的多个分支。对这些分支的不同关注在融合层产生不同大小的神经元有效感受野。多个存储单元堆叠成一个深度网络，称为选
SKNet：Selective Kernel Networks——选择性核网络
最新发布
Together_CZ的博客
02-22 891
SKNet：Selective Kernel Networks——选择性核网络
SKNet解读
热门推荐
luxinfeng的博客
10-04 1万+
SKNet的全称是“Selective Kernel Network”,它和SENet都是一个团队提出来的，SENet是对通道执行注意力机制，而SKNet则是对卷积核执行注意力机制，即让网络自己选择合适的卷积核。 论文地址 SKNet的核心模块如下图所示。 在该模块中，作者使用了多分支卷积网络、组卷积、空洞卷积以及注意力机制。 多分支卷积网络 多分支卷积网络，如字面意思，含有多于一个分支的卷积网...
SKNet结构解读
zhw864680355的博客
06-13 2898
论文原址:https://arxiv.org/pdf/1903.06586.pdf github: https://github.com/implus/SKNet
SKNet网路
ZDA_fight的博客
07-01 1218
1903_SKNet: 图： 网络描述： SENet是对特征图的通道注意力机制的研究， CBAM 提到了对特征图空间注意力机制的研究。这里 SKNet 针对卷积核的注意力机制研究。==SKNet是SENet的加强版，结合了SE opetator, Merge-and-Run Mappings以及attention on inception block的产物。其最终提出的也是与SE类似的一个模块，名为SK, 可以自适应调节自身的感受野。==据作者说，该模块在超分辨率任务上有很大提升，并且论文中的实验也证实
skynet 网络底层
qiu_zhili的博客
01-18 1341
最近看了云风的skynet框架，感觉获益良多。再次为云风大神的无私奉献致谢。下面是我看skynet框架时，看底层网络层时的一些心得体会，如果有写错的地方欢迎指正，本文是我的原创，如果转载请注明。 skynet的网络底层 采用了 epoll模型 （linux平台下），支持 linux,apple,freebsd,openbsd,netbsd等平台。        socket_epoll.h --l
SENet网络结构概要解读
Moeyinss
05-29 3114
本篇只是介绍一个大概，细节之后再细看： Squeeze-and-Excitation Networks SENet网络的创新点在于关注channel之间的关系，希望可以自动学习到不同channel特征的重要程度。SENet提出了Squeeze-and-Excitation (SE)模块，如下图所示： Squeeze.将H×W×CH\times W\times CH×W×C的feature map压缩为1×1×C1\times 1\times C1×1×C，一般是用global average pool
ResNeSt网络结构概要解读
Moeyinss
06-15 5256
ResNeSt: Split-Attention Networks enables attention across feature-map groups，提出Split-Attention模块。 背景知识 基于Multi-path and Feature-map Attention。 GoogleNet中提出Multi-path，其中每个网络块由不同的卷积内核组成。 ResNeXt在中采用group convolution，具体见我的另一篇blog:ResNet系列及其变体(四)—ResNeXt SE
ResNet系列及其变体目录
Moeyinss
05-29 2231
为了方便后续扩展，特此blog来整理目录信息： ResNet系列及其变体(一)—ResNetv1 ResNet系列及其变体(二)—Wider ResNet ResNet系列及其变体(三)—ResNetv2 ResNet系列及其变体(四)—ResNeXt ResNet系列及其变体(五)—DenseNet ResNet系列及其变体(六)—DarkNet53 ResNet系列及其变体(七)—Training and investigating ResidualNets ResNet系列及其变体(八)—Bag of
SENet系列之SKNet
wuli_xin的博客
11-12 3066
一顿火锅，足以忘却暂时的不愉快。 闲谈 现在感觉每天都有新的东西需要学习，今天学习这个，明天学习那个。我觉得这样非常不好，学习什么都是在表面游走，不会有一个好的成果。具体怎么解决这个问题，我还不是很清楚，有建议的小伙伴欢迎留言交流啊????。 前言 SENet: Paper: https://arxiv.org/abs/1709.01507 Code: https://github.com/hujie-frank/SENet SKNet: Paper: https://arxiv.org/abs/1903.
计算机视觉注意力网络(五)——SKNet [CVPR 2019]
quanwei的博客
07-08 3748
论文地址：https://arxiv.org/abs/1903.06586 代码地址：https://github.com/implus/SKNet Selective Kernel Networks（SKNet）发表在CVPR 2019，是对Momenta发表于CVPR 2018上论文SENet的改进，且这篇的作者中也有Momenta的同学参与。 SENet是对特征图的通道注意力机制的研究，之前的CBAM提到了对特征图空间注意力机制的研究。这里SKNet针对卷积核的注意力机制研究。 不同大小的感受视野（卷
SKNet：下一代轻量级神经网络框架
gitblog_00006的博客
04-27 656
SKNet：下一代轻量级神经网络框架 去发现同类优质开源项目:https://gitcode.com/ 是一个专为高效、灵活和易用设计的深度学习框架。它的目标是提供一种简单的方式来构建复杂的神经网络模型，尤其适合嵌入式设备或资源有限的环境。本文将从技术角度深入探讨SKNet的特点、优势以及可能的应用场景。 技术分析 设计理念 SKNet的核心设计理念是简洁与高效。它采用了模块化的架构，允许开发者轻...
【深度学习注意力机制系列】—— SKNet注意力机制（附pytorch实现）
qq_43456016的博客
08-09 1万+
SKNet是一种创新的深度神经网络架构，通过引入选择性的多尺度卷积核和注意力机制，提升了特征提取的能力。其核心结构包括选择模块和SK卷积层，能够有效地融合多尺度信息、自适应地调整卷积核的尺度，并减少计算成本。这使得SKNet在图像分类和目标检测等任务中取得了优越的性能。
SKNet介绍
mjiansun的专栏
07-10 3327
https://blog.csdn.net/ITOMG/article/details/89673593（先看这个，理解sknet） https://zhuanlan.zhihu.com/p/59690223（再看这个，原作者大局上的理解） https://github.com/implus/PytorchInsight（pytorch实现） 对照下面的图像及代码基本就能理解他是怎么实现的 ...
【Deep Learning】SKNet : Selective Kernel Networks 学习
Damu
04-18 3513
1. SKNet 论文思维导图   该思维导图使用 MindMaster 软件做出，源文件可以点击链接进行下载。 2. Selective kernel 结构介绍   本节主要介绍这篇论文的核心部分，即 Selective kernel 的相关内容 上图给出的是 Selective Kernel Convolution 的示意图，可以看出，此结构主要由三个部分组成，即： Split： ...
导入依赖库报错
淡定
03-07 540
当在导入库是报错java.lang.NoClassDefFoundError: android.support.v4.view.ViewConfigurationCompat 原因在于所导入的库依赖与v4支持包。将依赖工程中的v4支持包替换为本地工程中的v4后，清理构建，则可正常运行.
SKnet，Inception思想的延续，以及SEnet的进化
qq_43534932的博客
08-01 861
前言 自13年以后出现的inception体系的网络，其主要的目的是认为识别物体所占图像的占比不同，所适合的卷积核大小不同，如下图所示，这是经典的inception V1的结构，其主要采用了大小为3，5，1的卷积核，但是这种做法也有一些粗暴，因为在设计网络的时候，不同卷积核的通道数是固定的，很难适应多种算法。 那么能否有一种网络模块，帮助我们针对于目标物不同占比的图像，选用不同的卷积核，答案是有的，2019CVPR的SKnet就是来解决这种问题的。 SKnet的基本结构如图所示，主要分为三个部分，分离，
mmsegmentation中deeplabv3plus网络加入SKNet
05-05
SKNet（Selective Kernel Networks）是一种新型的卷积神经网络结构，通过选择性地应用不同大小的卷积核，可以有效地提高网络的表达能力和精度，在多个计算机视觉任务中都得到了良好的效果。 在 mmsegmentation 中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值