Unet改进2：在不同位置添加CBAM注意力机制

最新推荐文章于 2025-04-21 13:50:59 发布
最新推荐文章于 2025-04-21 13:50:59 发布
阅读量2.6k 收藏 5
点赞数
分类专栏： Unet和Unet++改进专栏 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141475469
版权

本文内容：在不同位置添加CBAM注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

摘要。我们提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。给定一个中间特征映射，我们的模块沿着两个独立的维度依次推断注意力映射，通道和空间，然后将注意力映射乘以输入特征映射以进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上进行大量实验来验证我们的CBAM。

我们的实验表明，各种模型在分类和检测性能上都有一致的提高，证明了CBAM的广泛适用性。代码和模型将是公开的。

1.步骤一

新建blocks/CBAM.py文件，添加如下代码：


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
UNet 改进(3)：CBAM模块的融合创新

				
			

			

				

					2401_82355416的博客
				

				

					04-07
					
					646
					
				

			

		

		

			
				
CBAM模块可以灵活地添加到网络的不同位置，本实现选择在初始卷积后添加，既提升了性能又不过度增加计算负担。UNet_CBAM通过集成注意力机制，使网络能够自动聚焦于图像中最相关的区域和特征通道，从而提升了分割性能。然而，传统的UNet在处理复杂场景时，对所有空间位置和通道特征一视同仁，这可能导致对重要特征的关注不足。在实际应用中，特别是在医学图像分析等需要精确分割的场景中，UNet_CBAM展现出了优异的性能。：CBAM添加的计算量很小，却能带来显著的性能提升，具有很好的性价比。

			
		

	



                

            
              



	

		

			

				
					
U-Net网络模型改进（添加通道与空间注意力机制）---亲测有效，指标提升

					
热门推荐

				
			

			

				

					weixin_42367888的博客
				

				

					12-05
					
					1万+
					
				

			

		

		

			
				
U-Net网络模型改进（添加通道与空间注意力机制）---亲测有效，指标提升

			
		

	



              


  
              

                


	

		

			

				
					
尝试在UNet添加SK模块和CBAM模块

				
			

			

				

					qq_45981086的博客
				

				

					05-28
					
					6820
					
				

			

		

		

			
				
尝试在UNet添加SK模块和CBAM模块

			
		

	





	

		

			

				
					
CVPR25爆款！CNN+UNet！9种创新思路拿去，accept飙升！

				
			

			

				

					Aimoxin111的博客
				

				

					03-21
					
					466
					
				

			

		

		

			
				
例如，对于一个大小为 4×4 的特征图，使用 2×2 的最大池化操作后，特征图的大小会变为 2×2，但保留了特征图中最重要的特征。多架构融合：提出了一个弱监督学习（WSL）框架，集成了基于CNN的UNet、基于Swin Transformer的SwinUNet和基于VMamba的Mamba-UNet三种不同架构，以实现详细的局部特征提取、全面的全局上下文理解和高效的长距离依赖关系建模。全连接层是 CNN 的最后几层，它将前面卷积层和池化层提取的特征进行整合，输出最终的分类结果或回归值。

			
		

	



		

			
		



	

		

			

				
					
Unet改进3：在不同位置添加NAMAttention注意力机制

				
			

			

				

					AIcurator的博客
				

				

					08-24
					
					948
					
				

			

		

		

			
				
识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性。

			
		

	





	

		

			

				
					
Attention UNet

				
			

			

				

					weixin_46720482的博客
				

				

					10-25
					
					1万+
					
				

			

		

		

			
				
Attention UNet论文解析 - 知乎Attention UNet论文地址： https://arxiv.org/pdf/1804.03999.pdf 代码地址： https://github.com/ozan-oktay/Attention-Gated-NetworksAttention UNet在UNet中引入注意力机制，在对编码器每个分辨率上的特征与解…图像分割UNet系列------Attention Unet详解_gz7seven的博客-CSDN博客_attention unet。

			
		

	





	

		

			

				
					
性能再升级！UNet+注意力机制，新SOTA分割准确率高达99%

				
			

			

				

					学姐带你玩AI的博客
				

				

					04-15
					
					6922
					
				

			

		

		

			
				
具体来说，通过将注意力模块集成到UNet的架构中，动态地重新分配网络的焦点，让其更集中在图像中对于分割任务关键的部分。这样UNet可以更有效地利用其跳跃连接特性，以精细的局部化信息来提升分割精度。这种策略可以帮助UNet更精确地界定目标边界，。同时引导网络关注更有信息量的局部区域，。

			
		

	





	

		

			

				
					
【nnUNetv2进阶】四、nnUNetv2 魔改网络-小试牛刀-加入注意力机制ChannelAttention

				
			

			

				

					AI爱好者的博客，分享计算机领域相关知识
				

				

					04-15
					
					4164
					
				

			

		

		

			
				
本文介绍了在nnunet中加入ChannelAttention的方法，按照本文教的教程，可以快速完成ChannelAttention的加入和自定义模型的跑通。

			
		

	





	

		

			

				
					
Unet 视网膜图像分割算法 加入sk 模块和 cbma模块

				
			

			

				

					qq_51436218的博客
				

				

					03-28
					
					1659
					
				

			

		

		

			
				
由于卷积操作通常会减小特征图的尺寸，所以特征图的大小比输入图像略小。根据论文中给出的网络结构，提出了一种encode-decode思想，观察encode部分，由五层的卷积池化操作组成，观察decode部分，由五层的上采样，反卷积和拼接组成，每一个部分肯定也有这样设置的意义。卷积层I_C_1（64@570×570）：使用64通道大小为3×3的卷积核对输入图像卷积计算得到64个大小为570×570的特征图。这是最常用的评价指标,计算每个类别的预测结果与真实标签之间的交集与并集的比值,再取平均。

			
		

	





	

		

			

				
					
基于CBAM改进的UNet模型的PyTorch实现及其在图像分割领域的应用

				
			

			

				

					02-03
				

			

		

		

			
				
内容概要：本文展示了带有CBAM注意力机制改进的U-Net架构模型的具体实现，使用PyTorch作为深度学习库。文中定义了ChannelAttention（信道注意力）和SpatialAttention（空间注意力）这两个重要子模块来提高模型对特征的理解力。接下来，还描述了网络不同层次之间的下采样、跳跃连接以及最后输出部分所使用的特定操作细节。最后，给出了模型实例化及简单调用的方法，并测试了随机生成的数据样本输出维度验证模型搭建正确无误。
适合人群：本教程主要适用于有一定机器学习或深度学习基础，并初步掌握PyTorch环境配置的相关开发者和技术爱好者，同时也非常适合从事医学影像分析或其他图像处理相关科研工作的专业研究人员用来进行项目实践探索。
使用场景及目标：这个模型可以应用于各种需要精确识别对象轮廓的任务如细胞计数检测、皮肤病灶边界分割等方面；其核心目的就是利用深度卷积神经网络提取图像特征，并借助注意力机制提升特征表达质量从而改善最终预测精度。
其他说明：此项目不仅限于二分类任务，只要调整相应的类别数即能应对多类别的情况，此外还允许用户选择不同的采样方式以适应更多种分辨率的图片处理需求。


			
		

	





	

		

			

				
					
Unet++改进2：添加CBAM注意力机制

				
			

			

				

					AIcurator的博客
				

				

					11-07
					
					664
					
				

			

		

		

			
				
摘要。我们提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。给定一个中间特征映射，我们的模块沿着两个独立的维度依次推断注意力映射，通道和空间，然后将注意力映射乘以输入特征映射以进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上进行大量实验来验证我们的CBAM。

			
		

	





	

		

			

				
					
Unet改进6：在不同位置添加CoordAtt注意力机制

				
			

			

				

					AIcurator的博客
				

				

					08-24
					
					644
					
				

			

		

		

			
				
最近关于移动网络设计的研究已经证明了通道注意(例如，挤压和激励注意)对于提高模型性能的显着有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意图非常重要。在本文中，我们提出了一种新的移动网络注意机制，将位置信息嵌入到通道注意中，我们称之为“坐标注意”。与通过二维全局池化将特征张量转换为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个一维特征编码过程，分别沿着两个空间方向聚合特征。这样可以在一个空间方向上捕获远程依赖关系，同时在另一个空间方向上保持精确的位置信息。

			
		

	





	

		

			

				
					
Unet改进4：在不同位置添加GAMAttention注意力机制,保留信息以增强通道-空间相互作用

				
			

			

				

					AIcurator的博客
				

				

					08-24
					
					899
					
				

			

		

		

			
				
为了提高各种计算机视觉任务的性能，人们研究了各种注意机制。然而，以往的方法忽略了同时保留通道和空间方面的信息对增强跨维交互的重要性。因此，我们提出了一种全局注意机制，通过减少信息约简和放大全局交互表征来提高深度神经网络的性能。我们引入了带有多层感知器的3d排列，用于通道注意以及卷积空间注意子模块。在CIFAR-100和ImageNet-1K上对所提出的图像分类机制进行的评估表明，我们的方法在ResNet和轻量级MobileNet上稳定地优于最近的几种注意力机制。

			
		

	





	

		

			

				
					
UNet 改进(11)：结合Inception模块和CBAM注意力机制

				
			

			

				

					2401_82355416的博客
				

				

					04-16
					
					516
					
				

			

		

		

			
				
这个改进的UNet架构名为基础双卷积模块：标准的UNet卷积块Inception模块：多尺度特征提取CBAM注意力机制：通道和空间注意力下采样和上采样路径：标准的UNet结构本文介绍的UNetWithInceptionCBAM通过结合Inception模块的多尺度特征提取能力和CBAM注意力机制的特征优化能力，在保持UNet基本结构优势的同时，显著提升了模型的特征表示能力。这种架构设计思路也可以应用于其他编码器-解码器结构的网络中，为图像分割任务提供了一个强有力的基线模型。

			
		

	





	

		

			

				
					
改进系列（8）：基于UNet+CBAM+联合损失改进的水体分割

					
最新发布

				
			

			

				

					Henry的博客
				

				

					04-21
					
					1191
					
				

			

		

		

			
				
目录1. UNet2. CBAM、联合损失2.1 CBAM2.2 联合损失3. UNet+CBAM+联合损失4. 水体分割4.1准备工作4.2 train 训练脚本4.3 训练过程4.4 训练生成的结果---->runs4.5 推理5. 项目下载UNet是一种广泛应用于图像分割任务的卷积神经网络架构，由Olaf Ronneberger等人于2015年提出。其核心设计采用独特的U形对称结构，主要由编码器（下采样）和解码器（上采样）两部分组成。编码器通过连续卷积和池化操作逐步提取高层次特征并缩小空间维度，而解码

			
		

	





	

		

			

				
					
unet各模块内容的理解（包含注意力机制、残差、以及数据维度的变化）

				
			

			

				

					m0_52985451的博客
				

				

					03-17
					
					5201
					
				

			

		

		

			
				
对unet的各模块内容进行梳理，包括各模块的设计，以及数据流的整个处理流程，以及其维度的变化

			
		

	





	

		

			

				
					
Unet 改进：融合CBAM模块代替特征提取

				
			

			

				

					Henry的博客
				

				

					02-04
					
					1875
					
				

			

		

		

			
				
CBAM模块主要由两个子模块组成：通道注意力模块（Channel Attention Module）和空间注意力模块（Spatial Attention Module）。这两个子模块以串行的方式连接，即先通过通道注意力模块对输入特征图的通道进行加权，然后再通过空间注意力模块对加权后的特征图的空间位置进行加权。在语义分割任务中，CBAM模块可以嵌入到分割网络的解码器中，以提高分割精度。综上所述，CBAM模块是一种有效的注意力机制模块，它通过结合通道注意力和空间注意力两个维度来增强模型对重要特征的关注度。

			
		

	





	

		

			

				
					
cbam注意力机制

				
			

			

				

					03-08
				

			

		

		

			
				
### CBAM注意力机制简介

CBAM（Convolutional Block Attention Module）是由Sanghyun Woo等人提出的，旨在通过引入通道注意力和空间注意力来提升卷积神经网络(CNN)的性能[^2]。

### 原理详解

#### 通道注意力（Channel Attention）

通道注意力模块主要负责捕捉不同通道之间的依赖关系。该过程分为两步：

1. **特征聚合**：分别计算输入特征图的最大池化结果和平均池化结果。
2. **多层感知器处理**：将上述两种池化的结果送入一个多层感知器(MLP)，其中包含两个全连接层，最终得到各个通道的重要性权重。这些权重视作一种软选择机制，用来重新调整原始特征图中的每一个通道响应[^4]。

```python
class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=8):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        # shared MLP
        self.fc1   = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        self.relu1 = nn.ReLU()
        self.fc2   = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)

        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x))))
        max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x))))
        out = avg_out + max_out
        return self.sigmoid(out)
```

#### 空间注意力（Spatial Attention）

空间注意力则专注于建模像素级别的关联性。同样地，此操作也包含了两个阶段：

1. **跨维度融合**：沿通道轴对最大池化与均值池化后的特征映射执行按位最大/最小运算，以此获得描述整个感受野内重要性的二维矩阵。
2. **卷积滤波**：利用7×7大小的卷积核对该二阶统计量实施变换，进而生成对应的空间注意系数[^3]。

```python
class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1
        
        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)
```

最后，将两者串联起来形成完整的CBAM结构，并将其应用于任何中间层之后作为附加组件以增强原有架构的表现力。

```python
class CBAM(nn.Module):
    def __init__(self, gate_channels, reduction_ratio=16, no_spatial=False):
        super(CBAM, self).__init__()
        self.ChannelGate = ChannelAttention(gate_channels, reduction_ratio)
        self.no_spatial=no_spatial
        if not no_spatial:
            self.SpatialGate = SpatialAttention()

    def forward(self, x):
        x_out = self.ChannelGate(x)
        x_out = x * x_out
        if not self.no_spatial:
            x_out = self.SpatialGate(x_out)
            x_out = x * x_out
        return x_out
```

### 应用场景

在计算机视觉领域中，特别是在目标检测任务里像YOLO这样的算法框架下集成CBAM可以显著提高对于特定物体识别精度以及鲁棒性。这是因为CBAM能够帮助模型更好地聚焦于感兴趣区域的同时抑制背景噪声干扰[^1]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
AICurator

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值