Unet改进6：在不同位置添加CoordAtt注意力机制

已于 2024-08-24 22:49:14 修改
阅读量66 收藏
点赞数
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 unet 语义分割
于 2024-08-24 22:47:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141506614
版权

本文内容：在不同位置添加CoordAtt注意力机制

论文简介

最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激励注意)对于提高模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意图非常重要。在本文中，我们提出了一种新的移动网络注意机制，将位置信息嵌入到通道注意中，我们称之为“坐标注意”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征。这样可以在一个空间方向上捕获远程依赖关系，同时在另一个空间方向上保持精确的位置信息。然后将得到的特征图分别编码为一对方向感知和位置敏感的注意图，它们可以互补地应用于输入特征图，以增强感兴趣对象的表示。我们的坐标关注很简单，可以灵活地插入经典的移动网络，如MobileNetV2、MobileNeXt和EfficientNet，几乎没有计算开销。大量的实验表明，我们的坐标关注不仅有利于ImageNet分类&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
专栏目录
订阅专栏
EMA：基于跨空间学习的高效多尺度注意力模块
AI浩
06-23 1万+
在各种计算机视觉任务中，通道或空间注意力机制在产生更清晰的特征表示方面的显著有效性得到了证明。然而，通过通道降维来建模跨通道关系可能会给提取深度视觉表示带来副作用。提出了一种新的高效的多尺度注意力(EMA)模块。以保留每个通道上的信息和降低计算开销为目标，将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
尝试在UNet的不同位置添加SE模块
qq_45981086的博客
05-28 4224
数据集：refuge视盘数据集，训练轮次：200，评价指标：dice coefficient、mean IOU。
YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进【NO.71】注意力机制Expectation-Maximization Attention（EMA模块）
m0_70388905的博客
06-24 2348
新颖有效的注意力机制EMA
Unet改进3：在不同位置添加NAMAttention注意力机制
m0_51530640的博客
08-24 154
识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性。
yolov8改进之EMA注意力机制
lvnacp的博客
05-17 2387
yolov8添加EMA注意力机制，提升模型性能。
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
weixin_51692073的博客
04-18 2262
YOLOv9最新改进系列：YOLOv9改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v9检测性能遥遥领先！
Unet改进7：在不同位置添加SimAM注意力机制||无参数的卷积神经网络注意模块
m0_51530640的博客
08-25 259
在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。
Unet改进10：在不同位置添加CPCA||通道先验卷积注意力机制
m0_51530640的博客
08-29 895
低对比度和显著的器官形状变化等特征经常出现在医学图像中。现有注意机制的自适应能力普遍不足，限制了医学影像分割性能的提高。本文提出了一种有效的通道先验卷积注意(CPCA)方法，该方法支持通道和空间维度上注意权重的动态分布。通过采用多尺度深度卷积模块，有效地提取空间关系，同时保留先验通道。CPCA具有聚焦信息渠道和重点区域的能力。提出了一种基于CPCA的医学图像分割网络CPCANet。CPCANet在两个公开可用的数据集上进行验证。
Unet改进9：在不同位置添加LSKBlock||动态调整其大空间感受场
m0_51530640的博客
08-29 98
近年来遥感目标检测的研究主要集中在改进面向边界盒的表示，而忽略了遥感场景中独特的先验知识。这种先验知识可能是有用的，因为微小的遥感目标可能在没有参考足够的远程背景的情况下被错误地探测到，而不同类型的目标所需的远程背景可能有所不同。在本文中，我们考虑到这些先验因素，提出了大选择性核网络(LSKNet)。LSKNet可以动态调整其大空间感受场，更好地模拟遥感场景中各种物体的测距环境。据我们所知，这是第一次在遥感目标检测领域探索大型和选择性的内核机制。
Unet改进11：在不同位置添加MLCA||轻量级的混合本地信道注意机制
最新发布
m0_51530640的博客
08-31 240
注意机制是计算机视觉中应用最广泛的组成部分之一，它可以帮助神经网络突出重要元素，抑制无关元素。然而，绝大多数通道注意机制只包含通道特征信息，忽略了空间特征信息，导致模型表示效果或目标检测性能较差，且空间注意模块往往复杂且昂贵。为了在性能和复杂性之间取得平衡，本文提出了一种轻量级的混合本地信道注意(MLCA)模块来提高目标检测网络的性能，该模块可以同时包含信道信息和空间信息，以及局部信息和全局信息，以提高网络的表达效果。
【目标检测实验系列】EMA高效注意力机制，融合多尺度特征，助力YOLOv5检测模型涨点(文内附源码)
弗兰-随风小欢的博客
07-23 1409
本篇博客主要介绍了高效多尺度注意力机制EMA，融合多尺度特征信息，助力YOLOv5模型涨点。另外，在修改过程中，要是有任何问题，评论区交流；
YOLOv5算法进阶改进（11）— 添加EMA注意力机制 | 基于跨空间学习的高效多尺度注意力模块
突然好想你
01-02 2152
EMA（Exponential Moving Average）注意力机制是一种用于增强模型性能的注意力机制，它通过对模型的特征图进行加权平均来提取更有用的特征信息。具体来说，EMA注意力机制通过引入一个权重因子来调整特征图中每个位置的重要性，从而使模型能够更好地关注重要的特征。🌈
YOLOv10全网最新创新点改进系列：YOLOv10改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v10检测性能遥遥领先！
weixin_51692073的博客
05-31 1817
YOLOv10全网最新创新点改进系列：YOLOv10改进加入新型高效的多尺度注意力（EMA）模块保留每个通道的信息并减少计算成本！助力v10检测性能遥遥领先！
YOLOv8添加CBAM注意力机制
zhaodaandedifang的博客
05-01 1007
简单记录YOLOv8添加各种模块的改进，文章所写都已运行成功。
YOLOv5改进系列（16）——添加EMA注意力机制（ICASSP2023|实测涨点）
路人贾的博客
07-28 6209
ICASSP2023，yolov5添加EMA基于跨空间学习的高效多尺度注意力，超越CA，实测涨点！
YOLOv8改进:添加EMA注意力机制
热门推荐
ShawN1022的博客
09-13 1万+
用YOLOv5x作为骨干CNN在VisDrone数据集上进行目标检测，其中CA, CBAM和EMA注意力分别集成到检测器中。从表2的结果可以看出，CA, CBAM和EMA都可以提高目标检测的基线性能。/EMA.py文件中新建一个名为EMA.py文件，将下述代码复制到EMA.py文件中并保存。本文提出了一种新的跨空间学习方法，并设计了一个多尺度并行子网络来建立短和长依赖关系。EMA的位置可以改变，看个人的数据集效果，改注意编号的变化。运行的时候看框架可以看到EMA说明添加成功。录用：ICASSP2023。
Yolov8改进---注意力机制：ICASSP2023 EMA基于跨空间学习的高效多尺度注意力、效果优于ECA、CBAM、CA | 小目标涨点明显
06-25 6041
yolov8引入ICASSP2023 EMA基于跨空间学习的高效多尺度注意力，在小目标检测中涨点明显
unet添加注意力机制代码位置
03-28
在UNet模型中添加注意力机制的代码通常放在模型的构建部分。具体来说，可以在UNet的编码器和解码器之间添加注意力模块，以便在特定部分增强模型的分割性能。 以下是一个示例代码片段，其中添加了注意力机制： ``` import torch import torch.nn as nn class Attention(nn.Module): def __init__(self, in_channels): super(Attention, self).__init__() self.conv = nn.Conv2d(in_channels=in_channels, out_channels=1, kernel_size=1) self.sigmoid = nn.Sigmoid() def forward(self, x): x = self.conv(x) x = self.sigmoid(x) return x class UNet(nn.Module): def __init__(self, in_channels=3, out_channels=1, features=[64, 128, 256, 512]): super(UNet, self).__init__() self.encoder = nn.ModuleList() self.decoder = nn.ModuleList() self.pool = nn.MaxPool2d(kernel_size=2, stride=2) # Encoder for feature in features: self.encoder.append( nn.Sequential( nn.Conv2d(in_channels, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True) ) ) in_channels = feature # Attention self.attention = Attention(features[-1]) # Decoder for feature in reversed(features): self.decoder.append( nn.Sequential( nn.Conv2d(feature*2, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.ConvTranspose2d(feature, feature//2, kernel_size=2, stride=2), ) ) self.decoder.append( nn.Sequential( nn.Conv2d(feature, feature//2, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature//2, feature//2, kernel_size=3, padding=1), nn.ReLU(inplace=True), ) ) feature //= 2 # Output self.output = nn.Conv2d(64, out_channels, kernel_size=1) def forward(self, x): skip_connections = [] # Encoder for encoder in self.encoder: x = encoder(x) skip_connections.append(x) x = self.pool(x) # Attention x = self.attention(x) # Decoder for i in range(0, len(self.decoder), 2): decoder = self.decoder[i] skip_connection = skip_connections[-(i//2+2)] x = decoder(x) x = torch.cat([x, skip_connection], dim=1) x = self.decoder[i+1](x) # Output x = self.output(x) return x ``` 在这个例子中，注意力模块被添加到UNet模型的最后一个编码器之后。具体来说，我们定义了一个名为Attention的新模块，并在UNet的初始化函数中创建了一个实例。在前向传递中，我们将编码器输出传递给Attention模块，并将其输出乘以编码器的最终输出。这样，注意力机制可以集中模型的注意力在最相关的特征图上，从而提高分割性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值