[深度学习从入门到女装]Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Network

最新推荐文章于 2024-04-22 08:07:14 发布
最新推荐文章于 2024-04-22 08:07:14 发布
阅读量2.1k 收藏 4
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/90603513
版权

论文地址：Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Network

一篇来自南理工的文章

文章的思路很简单，类似于SENet(对channel做attention)、spacial attention
就是将channel分为group，然后对每个group进行spatial的attention

在这里插入图片描述
模块如上图所示，
1、将feature map按channel维度分为G个group
2、对每个group单独进行attention
3、对group进行global average pooling得到g
4、进行pooling之后的g与原group feature进行element-wise dot
5、在进行norm
6、再使用sigmoid进行激活
7、再与原group feature进行element-wise dot

炼丹师
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
改进YOLOv5 | 在 C3 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制 | 附详细结构图
YOLOv8项目贡献者
05-17 2634
在 C3 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制 | 附详细结构图
即插即用篇 | 在 C2F 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制 | 附详细结构图
YOLOv8项目贡献者
05-15 2484
在 C2F 模块中添加【Triplet】【SpatialGroupEnhance】【NAM】【S2】注意力机制 | 附详细结构图
Yolo改进-注意力机制大合集
04-04
注意力机制代码 SE CBAM ECA CA SimAM S2-MLPv2 NAMAttention Criss-CrossAttention GAMAttention Selective Kernel Attention ShuffleAttention A2-Net RFB CoTAttention EffectiveSEModule GatherExcite MHSA ParNetAttention SpatialGroupEnhance SequentialPolarizedSelfAttention TripletAttention
【YOLO改进】主干插入Spatial Group-wise Enhance(SGE)模块(基于MMYOLO)
最新发布
Vlone_pp的博客
04-22 363
确保 class SpatialGroupEnhance中的输入维度为in_channels(因为MMYOLO会提前传入输入维度参数，所以要保持参数名的一致)修改对应的配置文件，并且将plugins的参数“type”设置为“SpatialGroupEnhance”，可参考。导入MMYOLO用于注册模块的包: from mmyolo.registry import MODELS。修改mmyolo/models/plugins/__init__.py文件。
【计算机视觉 | CNN】Image Model Blocks的常见算法介绍合集（五）
wzk4869的博客
09-16 191
【计算机视觉 | CNN】Image Model Blocks的常见算法介绍合集（五）
面向小白的深度学习代码库，一行代码实现30+中attention机制。
努力努力再努力的小马
07-26 5125
Hello，大家好，我是小马🚀🚀🚀，最近创建了一个深度学习代码库，欢迎大家来玩呀！代码库地址是https://github.com/xmu-xiaoma666/External-Attention-pytorch，目前实现了将近40个深度学习的常见算法！For 小白（Like Me）：最近在读论文的时候会发现一个问题，有时候论文核心思想非常简单，核心代码可能也就十几行。但是打开作者release的源码时，却发现提出的模块嵌入到分类、检测、分割等任务框架中，导致代码比较冗余，对于特定任务框架不熟悉的我，很难找
Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Network
qq_37972486的博客
05-02 791
文章的思路很简单，类似于SENet(对channel做attention)、spacial attention就是将channel分为group， 然后对每个group进行spatial的attention 模块如上图所示， 1、将feature map按channel维度分为G个group 2、对每个group单独进行attention 3、对group进行global average poo...
提升多模态深度学习性能：利用 Triplet、Spatial Group Enhance、NAM、S2 注意力机制
一直在水些技术小文
11-09 178
多模态数据，指的是包含多个不同模态（如文本、图像、声音等）的数据，它们可以提供更全面的信息来解决各种任务，如图像字幕生成、情感分析、人脸识别等。在本文中，我们介绍了四种不同的注意力机制：Triplet、Spatial Group Enhance、NAM 和 S2 注意力，并提供了示例代码来演示它们的应用。在本文中，我们将关注四种不同的注意力机制：Triplet 注意力、Spatial Group Enhance 注意力、NAM（Non-local Attention Module）注意力和 S2 注意力。
SGE——Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks
qq_28778507的博客
06-07 3456
这篇文章借鉴了SEnet，然后做了结构的改动。 作者提到，一个完整的feature是由许多sub feature组成的，并且这些sub feature会以group的形式分布在每一层的feature里，但是这些子特征会经由相同方式处理，且都会有背景噪声影响。这样会导致错误的识别和定位结果。所以作者提出了SGE模块，它通过在在每个group里生成attention factor，这样就能得到每个su...
Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks
qq_52302919的博客
03-24 4235
卷积神经网络（CNN）通过收集不同层次和不同部分的语义子特征来生成复杂对象的特征表示。这些子特征通常可以以分组形式分布在每一层的特征向量中，代表各种语义实体。然而，这些子特征的激活往往在空间上受到相似模式和噪声背景的影响，从而导致错误的定位和识别。
模型注意力机制的方法，senet,gcnet SRMnet,SGEnet,增强注意力机制AA，Relation-Aware Global
m0_37192554的博客
03-03 6553
优化分类模型的结构注意力机制 senet,gcnet SRMnet,SGEnet,增强注意力机制AA，每个有代码实现 最大化注意力机制（EMA） 1、SEnet, GCnet 2、SGEnet, Spatial Group-wise Enhance: Improving SemanticFeature Learning in ，Convolutional Networks, https://...
Semantic Breast Tumor Segmentation by CNN: Semantic Breast Tumor Segmentation by Convolutional Neural Network in MRI 图像-matlab开发
05-29
通过 MRI 图像中的卷积神经网络进行语义乳房肿瘤分割。 在这个项目中，我使用了 RIDER 乳房数据集。 此外，“数据增强”过程已用于扩展数据集。
Active Transfer Learning Network: A Unified Deep Joint Spectral-Spatial Feature Learning Model for Hyperspectral Image Classification
02-07
Deep learning has recently attracted significant attention in the field of hyperspectral images (HSIs) classification. However, the construction of an efficient deep neural network mostly relies on a ...
geopandas-spatial-join-example：如何使用geopandas和Python将点连接到多边形数据的示例
02-04
geopandas-spatial-join-example：如何使用geopandas和Python将点连接到多边形数据的示例
spatial-intention-maps:多主体移动操作的空间意图图（ICRA 2021）
03-25
在这项工作中，我们提出了空间意图图，这是一种基于多主体基于视觉的深度强化学习的新意图表示，它可以改善分散式移动操纵器之间的协调性。 在此表示中，每个代理的意图都提供给其他代理，并呈现为与视觉观察对齐的...
Direction of Arrival Estimation in Low-Grazing Angle: A Partial Spatial-Differencing Approach
02-08
Direction of Arrival Estimation in Low-Grazing Angle: A Partial Spatial-Differencing Approach
卷积新视野：解密C2F模块中的多元注意力机制
一直在水些技术小文
11-07 424
本篇博客详细介绍了如何在C2F模块中集成Triplet、SpatialGroupEnhance、NAM和S2等多种注意力机制，以提高模型的性能。每种注意力机制都有不同的特点，可以根据任务的要求选择合适的注意力模块。希望这篇博客对你的计算机视觉研究和应用有所帮助。继续探索和创新，不断提升你的CNN模型，让你的模型能够更好地理解和分析图像数据！🌟。
【深度学习】注意力机制（三）
AI爱好者的博客，分享计算机领域相关知识
12-11 1396
本文介绍一些注意力机制的实现，包括EMHSA/SA/SGE/AFT/Outlook Attention。
注意力机制之SGE Attention
qq_38915354的博客
05-08 2958
然而，这些子特征的激活往往在空间上受到相似模式和噪声背景的影响，从而导致错误的定位和识别。本文提出了一个空间组增强（SGE）模块，该模块可以通过为每个语义组中的每个空间位置生成一个注意因子来调整每个子特征的重要性，从而每个单独的组可以自主地增强其学习的表达，并抑制可能的噪声。注意因素仅由各组内部的全局和局部特征描述符之间的相似性来引导，因此SGE模块的设计非常轻量级，几乎没有额外的参数和计算。的方法，生成了加权后的特征图，其中H*W为特征图的像素点个数，由avg_pool操作保证输出特征图形状一致。
spatial-wise
10-05
spatial-wise是指在视觉任务中，处理图像的空间维度时，通过考虑不同空间位置的细粒度联系来提取局部特征。在这个架构中，通过自我注意机制来捕捉空间维度的全局环境，并在序列方向上对空间标记进行分组，以保持模型的线性复杂性。通过这种方式，spatial-wise能够更好地建模局部特征，并提供更准确的视觉信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值