【YOLOv8改进】LSKNet(Large Selective Kernel Network ):空间选择注意力

已于 2024-07-15 15:46:59 修改
阅读量1.7k 收藏 6
点赞数 1
分类专栏： YOLOV8基础解析+创新改进+实战案例 文章标签： YOLO 论文阅读 yolov8 网络 目标检测
于 2024-04-10 22:41:37 首次发布
原创文章，禁止任何形式转载！
本文链接：https://blog.csdn.net/shangyanaf/article/details/137614259
版权
LSKNet是一种针对遥感目标检测的新型网络结构，通过大核卷积和空间核选择机制动态调整感受野，以适应不同目标的范围上下文。该模型在遥感分类、目标检测和语义分割任务中实现了最先进的性能。LSKNet的核心是LSKblock Attention，它能自适应地确定大型核的权重，优化不同目标的检测效果。
摘要由CSDN通过智能技术生成

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

image-20240410221310591

摘要

近期在遥感目标检测的研究中，主要集中于提高定向边界框的表示能力，但却忽略了遥感场景中独有的先验知识。这类先验知识是有用的，因为在没有参考足够长范围上下文的情况下，微小的遥感目标可能会被错误地检测到，而不同类型的对象所需的长范围上下文可能会有所不同。在本文中，我们考虑到了这些先验，并提出了大型选择性核网络（LSKNet）。LSKNet能够动态调整其大的空间接收场，以更好地模拟遥感场景中各种对象的范围上下文。据我们所知，这是首次在遥感目标检测领域探索大型和选择性核机制。无需任何额外复杂设计，我们的轻量级LSKNet在标准的遥感分类、目标检测和语义分割基准测试中设立了新的最先进水平。

创新点

  1. LSKblock Attention：LSKNet引入了LSKblock Attention作为一种注意力机制，通过空间选择性机制动态调整感受野，以更有效地处理不同目标类型的广泛上下文。这种机制允许模型根据输入自适应地确定大型核的权重，从而在空间维度上调整每个目标的感受野。
  2. 大型选择性核网络：LSKNet是首个在遥感目标检测领域探索大型和选择性核机制的模型。它通过加权处理大型深度核的特征，并在空间上将它们合并，以适应不同目标类型的不同上下文细微差异。
  3. 适应性感受野调整：LSKNet能够动态调整感受野以更好地模拟远程感知场景中各种对象的范围上下文，从而更有效地处理不同目标类型的广泛上下文。
  4. 性能优越：LSKNet在标准基准数据集上取得了新的最先进成绩，如HRSC2016、DOTA-v1.0和FAIR1M-v1.0，证明了其在遥感目标检测任务中的卓越性能和有效性。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

LSKNet的结构

LSKNet的结构包括以下几个关键组成部分：

  1. LSK module：LSK module是LSKNet中的一个重要组件，由大核卷积序列和空间选择机制组成。大核卷积序列用于捕获长距离上下文信息，而空间选择机制则根据输入数据动态调整大核的权重，以适应不同目标类型的上下文特征。
  2. LSK Block࿱
了解本专栏 订阅专栏 解锁全文
YOLO大师
关注
专栏目录
订阅专栏
【RT-DETR有效改进】遥感旋转网络 | LSKNet动态的空间感受野网络（轻量又提点）
Snu77的博客
01-22 1573
本文给大家带来的改进内容是LSKNet（Large Kernel Selection, LK Selection），其是一种专为遥感目标检测设计的网络架构，其核心思想是动态调整其大的空间感受野，以更好地捕捉遥感场景中不同对象的范围上下文。实验部分我在一个包含三十多个类别的数据集上进行实验，其中包含大目标检测和小目标检测，mAP的平均涨点幅度在0.04-0.1之间(也有极个别的情况没有涨点)，同时官方的版本只提供了一个大版本，我在其基础上提供一个轻量化版本给大家选择，本文会先给大家对比试验的结果，供大家参考。
YOLOv8改进 | 主干篇 | 添加全新的LSKNet遥感目标检测主干 (附代码+修改教程+结构讲解)
Snu77的博客
12-13 4231
本文给大家带来的改进内容是LSKNet（Large Kernel Selection, LK Selection），其是一种专为遥感目标检测设计的网络架构，其核心思想是动态调整其大的空间感受野，以更好地捕捉遥感场景中不同对象的范围上下文。实验部分我在一个包含三十多个类别的数据集上进行实验，其中包含大目标检测和小目标检测，mAP的平均涨点幅度在0.04-0.1之间(也有极个别的情况没有涨点)，同时官方的版本只提供了一个大版本，我在其基础上提供一个轻量化版本给大家选择，本文会先给大家对比试验的结果，供大家参考。
LSKNet 开源项目使用教程
gitblog_00564的博客
10-11 401
LSKNet 开源项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ls/LSKNet 1. 项目介绍 LSKNet（Large Selective Kernel Network）是一个为遥感对象检测设计的基础轻量级骨干网络。该项目在IJCV 2024和ICCV 2023上发表，旨在通过动态调整其大空间感受野来更好地建模遥感场景中各种对象的远距离上下文。LSKN...
【YOLOv11改进 - 注意力机制】LSKNet(Large Selective Kernel Network ):空间选择注意力
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-25 884
【YOLOv11改进 - 注意力机制】LSKNet(Large Selective Kernel Network ):空间选择注意力
ICCV 2023 | LSKNet【保姆级】训练自己的目标检测模型
weixin_51670564的博客
08-31 5225
LSKNet在多个数据集上刷新了SOTA，HRSC2016（98.46% mAP）、DOTA-v1.0（81.64% mAP）和FAIR1M-v1.0（47.87% mAP）。因此在自己的遥感数据集上试试效果。
YOLOv8改进策略：融合LSKNet技术以打造更适合小目标的YOLOv8
qq_62660798的博客
01-21 1528
随着计算机视觉的飞速发展，目标检测技术在各种应用场景中发挥着至关重要的作用。YOLOv8（You Only Look Once）系列一直以来以其高效、实时的特性受到广泛关注。然而，对于小目标的精准检测一直是目标检测领域的一个挑战。为了解决这一问题，本文提出了一种改进策略：将LSKNet技术融合到YOLOv8中，以打造更适合小目标检测的YOLOv8版本。在深入讨论改进策略之前，我们先回顾一下YOLOv8的基本架构。
【论文阅读】LSKNet: Large Selective Kernel Network for Remote Sensing Object Detection
糯米丸子TAT的博客
09-02 1万+
这是南开大学在ICCV2023会议上新提出的旋转目标检测算法，基本原理就是通过一系列Depth-wise 卷积核和空间选择机制来动态调整目标的感受野，从而允许模型适应不同背景的目标检测。1. 目前基于旋转框的遥感影像目标检测算法已经取得了一定的进展，但是很少考虑存在于遥感影像中的先验知识。遥感影像中的目标往往尺寸很小，仅仅基于其表观特征很难识别，如果结合其背景信息，如周边环境，就可以提供形状、方向等有意义的信息。
YOLOv8改进 | 主干篇 | 添加全新的LSKNet遥感目标检测主干（附代码+修改教程+结构讲解）
走向CTO的路上...
06-28 895
将LSKNet引入YOLOv8的主干网络可以显著提升遥感目标检测模型的性能，尤其是在目标检测的精度、速度和鲁棒性方面。LSKNet是一种轻量级的深度卷积神经网络架构，它采用了一系列创新设计，在保证模型精度的同时，大幅降低了模型的计算量和参数量。LSKNet的引入使得YOLOv8能够在遥感图像上进行高效、准确的目标检测。LSKNet遥感目标检测主干是一种有效的改进方案，可以显著提升遥感目标检测模型的性能，使其成为遥感图像分析和应用的重要工具。
YOLOv8改进 更换旋转目标检测的主干网络LSKNet
分享一些自己改进代码的实例
12-27 4323
手把手教你在yolov8中加入南开大学新研究的遥感旋转目标检测新SOTA：LSKNet，可动态调整空间感受视野，亲测在多个数据集上均有涨点！
YOLOV8改进：LSKA注意力机制改进SPPF模块_sppf_lska模块
2401_84010107的博客
04-13 1464
与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。作者还发现，随着卷积核大小的增加，所提出的LSKA设计更倾向于将VAN偏向物体的形状而不是纹理。总的来说，LSKA注意力机制通过利用大且可分离的卷积核以及空间扩张卷积来捕捉图像的广泛上下文信息，生成注意力图，并通过这个注意力图加权原始特征，以此增强网络对于重要特征的关注度，提高模型的性能。与标准的LKA设计相比，所提出的分解使得可以在注意力模块中直接使用具有大卷积核的深度卷积层，无需额外的块。
YOLOv8改进模块之C2f_Bottleneck_BoT
Lijie_yzm的博客
11-29 2212
针对YOLOv8的梯度分流模块C2f，我们在其最后一层的bottleneck之后添加了Bottleneck Transformer(BoT)，从而得到了C2f_Bottleneck_BoT模块，并且将该模块替换掉YOLOv8颈部网络中的所有C2f模块。经过实验表明，改进后的模型均值平均精度有所增加。
【YOLOv10改进-注意力机制】LSKNet(Large Selective Kernel Network ):空间选择注意力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-06 508
近期在遥感目标检测的研究中，主要集中于提高定向边界框的表示能力，但却忽略了遥感场景中独有的先验知识。这类先验知识是有用的，因为在没有参考足够长范围上下文的情况下，微小的遥感目标可能会被错误地检测到，而不同类型的对象所需的长范围上下文可能会有所不同。在本文中，我们考虑到了这些先验，并提出了大型选择性核网络（LSKNet）。LSKNet能够动态调整其大的空间接收场，以更好地模拟遥感场景中各种对象的范围上下文。据我们所知，这是首次在遥感目标检测领域探索大型和选择性核机制。
即插即用篇 | YOLOv8 引入选择性注意力 LSK 模块 | 《ICCV 2023 Large Selective Kernel Network》
YOLOv8项目贡献者
07-23 6546
ICCV 2023🏅顶会最新 YOLOv8 引入选择性注意力 LSK 模块
YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-06 3万+
大家好！欢迎阅读本专栏。本专栏涵盖了YOLO8中C2f、主干网络、检测头、注意力机制、Neck等多种结构的创新，同时也包括了 YOLO相关的基础知识以及相关项目。
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
羲洋的博客
11-06 3878
YOLOv8改进：融合Gold-YOLO Neck(RepGDNeck)
YOLOV8改进——添加ShuffleAttention注意力机制
qq_62047193的博客
06-23 556
在ultralytics/cfg/datasets/ 下新建data.yaml。
YOLOV8改进：soft-nms、DIOU-nms、SIOU-nms、EIOU-nms、WIOU-nms
weixin_45303602的博客
10-11 6369
NMS（Non-Maximum Suppression，非极大值抑制）是一种常用的目标检测算法，用于抑制冗余的边界框，保留最具代表性的目标框。在目标检测任务中，通常会生成多个候选边界框（bounding box），每个边界框都对应着一个可能的目标。然而，由于图像中可能存在多个重叠的边界框，为了提取出最准确的目标框，需要使用NMS来进行筛选。首先，根据目标框的置信度（或者其他评分指标），按照降序排列所有的候选框。选择具有最高置信度的框，并将其添加到最终输出的结果列表中。
YOLOV8改进：动态蛇形卷积，多视角特征融合策略与连续性拓扑约束损失
m0_51530640的博客
10-08 1976
1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏，包含大量的改进方式，主要以2023年的最新文章和2022年的文章提出改进方式。2.提供更加详细的改进方法，如将注意力机制添加到网络的不同位置，便于做实验，也可以当做论文的创新点。3.涨点效果：动态蛇形卷积,实现有效涨点！精确分割拓扑管状结构;如血管和道路，是各种至关重要的现场，确保下游的准确性和效率任务。然而，许多因素使任务复杂化，包括薄的局部结构和可变的全局形态。
YOLOv8改进 添加新型卷积注意力框架SegNext_Attention
分享一些自己改进代码的实例
01-02 3108
本文在yolov8中加入新型卷积注意力框架SegNext_Attention，能够更好地利用全局上下文信息，并且能够对感兴趣的区域进行更加准确的注重，从而提高图像分割的性能。
用python写一个Selective Kernel Attention 注意力模块的代码
04-23
好的，以下是Selective Kernel Attention 注意力模块的 Python 代码： ```python import torch import torch.nn as nn class ScaledDotProductAttention(nn.Module): def __init__(self, temperature): super().__init__() self.temperature = temperature def forward(self, q, k, v, mask=None): attn = torch.matmul(q / self.temperature, k.transpose(2, 3)) if mask is not None: attn = attn.masked_fill(mask == 0, -1e9) attn = nn.Softmax(dim=-1)(attn) output = torch.matmul(attn, v) return output, attn class SKAttention(nn.Module): def __init__(self, d_model, d_k, d_v, n_heads, n_sk, dropout): super().__init__() self.n_heads = n_heads self.n_sk = n_sk self.d_k = d_k self.d_v = d_v self.w_qs = nn.Linear(d_model, n_heads * n_sk * d_k, bias=True) self.w_ks = nn.Linear(d_model, n_heads * n_sk * d_k, bias=True) self.w_vs = nn.Linear(d_model, n_heads * n_sk * d_v, bias=True) self.attention = ScaledDotProductAttention(temperature=d_k ** 0.5) self.proj_o = nn.Linear(n_heads * n_sk * d_v, d_model, bias=True) self.dropout = nn.Dropout(dropout) self.layer_norm = nn.LayerNorm(d_model, eps=1e-6) self.fc = nn.Linear(d_model, d_model, bias=True) def forward(self, query, key, value, mask=None): batch_size = query.size(0) residual_xs = query q_s = self.w_qs(query).view(batch_size, -1, self.n_heads, self.n_sk, self.d_k) k_s = self.w_ks(key).view(batch_size, -1, self.n_heads, self.n_sk, self.d_k) v_s = self.w_vs(value).view(batch_size, -1, self.n_heads, self.n_sk, self.d_v) q = q_s.permute(2, 0, 3, 1, 4).contiguous().view(-1, self.n_sk, self.d_k) k = k_s.permute(2, 0, 3, 1, 4).contiguous().view(-1, self.n_sk, self.d_k) v = v_s.permute(2, 0, 3, 1, 4).contiguous().view(-1, self.n_sk, self.d_v) mask = mask.repeat(self.n_heads, self.n_sk, 1, 1) output, attn = self.attention(q, k, v, mask=mask) output = output.view(self.n_heads, batch_size, self.n_sk, self.d_v) output = output.permute(1, 2, 0, 3).contiguous().view(batch_size, -1, self.n_heads * self.n_sk * self.d_v) proj_o = self.proj_o(output) output = self.layer_norm(residual_xs + proj_o) fc_output = self.fc(output) output = self.dropout(fc_output) output = self.layer_norm(output + output) return output, attn ``` 希望能够帮到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏，我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值