Unet改进2：在不同位置添加CBAM注意力机制

最新推荐文章于 2024-08-24 22:37:02 发布
最新推荐文章于 2024-08-24 22:37:02 发布
阅读量316 收藏 1
点赞数
分类专栏： Unet改进专栏 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141475469
版权

本文内容：在不同位置添加CBAM注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

摘要。我们提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。给定一个中间特征映射，我们的模块沿着两个独立的维度依次推断注意力映射，通道和空间，然后将注意力映射乘以输入特征映射以进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上进行大量实验来验证我们的CBAM。

我们的实验表明，各种模型在分类和检测性能上都有一致的提高，证明了CBAM的广泛适用性。代码和模型将是公开的。

1.步骤一

新建blocks/CBAM.py文件，添加如下代码：


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  AICurator
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
【nnUNetv2进阶】四、nnUNetv2 魔改网络-小试牛刀-加入注意力机制ChannelAttention

				
			

			

				

					AI爱好者的博客，分享计算机领域相关知识
				

				

					04-15
					
					2401
					
				

			

		

		

			
				
本文介绍了在nnunet中加入ChannelAttention的方法，按照本文教的教程，可以快速完成ChannelAttention的加入和自定义模型的跑通。

			
		

	



                

              
                



	

		

			

				
					
使用深度学习的遥感三分类分割问题的精度提高方法.pdf

				
			

			

				

					08-18
				

			

		

		

			
				
使用深度学习的遥感三分类分割问题的精度提高方法.pdf

			
		

	



                


  
              

                


	

		

			

				
					
【深度学习】查找提升分割精度的方法

				
			

			

				

					weixin_44211644的博客
				

				

					04-20
					
					6403
					
				

			

		

		

			
				
1.	预处理：降噪，图像增强
2.	加注意力机制
3......

			
		

	





	

		

			

				
					
尝试在UNet添加SK模块和CBAM模块

				
			

			

				

					qq_45981086的博客
				

				

					05-28
					
					4986
					
				

			

		

		

			
				
尝试在UNet添加SK模块和CBAM模块

			
		

	



		

			
		



	

		

			

				
					
Skeletonization 基于UNet的骨架提取网络

				
			

			

				

					m0_63642362的博客
				

				

					02-25
					
					1304
					
				

			

		

		

			
				
图像数据集由1725幅黑白图像组成，这些图像以256×256像素的便携式网络图形格式提供，分为1218幅训练图像、241幅验证图像和266幅测试图像。我们提供测试集和验证集中每个类的样本。有两种类型的图像：表示数据集中形状的形状图像和表示与形状图像对应的骨架的骨架图像。Pixel SkelNetOn 竞赛：像素骨架提取分析能对不同目标的二值化掩码进行细化，克服传统方法人工设置参数的不便。如何从少量样本中准确提取不同形状的的骨架，存在一定的挑战性。通过paddle提供的接口自定义数据加载方式。

			
		

	





	

		

			

				
					
【图像分类】2018-CBAM ECCV

				
			

			

				

					wujing1_1的博客
				

				

					04-26
					
					946
					
				

			

		

		

			
				
卷积注意力模块(CBAM)

论文地址

1. 简介
1.1 简介
CBAM 是对标于SENet所提出的一种结合了通道注意力和空间注意力的轻量级模块，它和SENet一样，几乎可以嵌入任何CNN网络中，在带来小幅计算量和参数量的情况下，大幅提升模型性能。
github: https://github.com/Jongchan/attention-module

SENet(Sequeeze and Excitation Net)是2017届ImageNet分类比赛的冠军网络，本质上是一个基于通道的Attent

			
		

	





	

		

			

				
					
基于U-Net模型的视网膜血管分割

				
			

			

				

					学习日常分享
				

				

					05-14
					
					8071
					
				

			

		

		

			
				
(1) 视网膜血管图像数据集DRIVE简介
DRIVE (Digital Retinal Images for Vessel Extraction)数据集是用于视网膜病变研究的数据集，相关图像均来自于荷兰的糖尿病视网膜病变筛查计划，其被用于视网膜图像中的血管分割比较研究。该数据集由图像科学研究所于 2004 年发布。
DRIVE数据库已经建立，可以对视网膜图像中的血管分割进行比较研究。视网膜血管分割和描绘视网膜血管的形态属性，如长度、宽度、弯曲度、分支模式和角度，用于诊断、筛查、治疗和评估各种心血管和眼科疾

			
		

	





	

		

			

				
					
【论文】CBAM: Convolutional Block Attention Module

				
			

			

				

					梦想是要有的，万一实现了呢！
				

				

					05-31
					
					6653
					
				

			

		

		

			
				
摘要：我们提出了卷积块注意模块 (CBAM)，这是一个用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。我们通过对 Image Net - 1 K、MS COCO 检测和 VOC 2007 检测数据集的广泛实验来验证我们的 CBAM。我们的实验表..

			
		

	





	

		

			

				
					
基于注意力机制的遥感图像分割模型

				
			

			

				

					01-25
				

			

		

		

			
				
为进一步增强模型对目标特征的响应能力,提出位置注意力机制对解码阶段最后的特征进行处理。最后,将加权融合后的特征图上采样到原图大小并预测像素类别。在两个遥感道路数据集上进行实验并与相关模型进行比较,结果...

			
		

	





	

		

			

				
					
基于Unet模型和并联注意力机制实现猫和老鼠动画片的语义分割.zip

				
			

			

				

					02-06
				

			

		

		

			
				
在图像语义分割中，自注意力可以捕获图像内部不同位置之间的关系，帮助模型更好地理解场景的整体结构。通过计算每个位置的像素与其他所有位置像素的相关性，自注意力可以生成一个权重矩阵，这个矩阵表示了像素之间的...

			
		

	





	

		

			

				
					
CBAM-keras:在Keras上实施CBAM

				
			

			

				

					05-23
				

			

		

		

			
				
CBAM-Keras
 这是实现。 该存储库还包括，因此您可以在基本的CNN模型，带有CBAM块的基本模型和带有SE块的基本模型之间进行训练和比较。
CBAM：卷积块注意模块
CBAM提出了一个称为“卷积块注意模块”（CBAM）块的体系结构单元，以通过使用注意机制来提高表示能力：关注重要特征并抑制不必要的特征。 该研究可以被认为是的后代和改进。
CBAM_block的图
每个注意子模块图
ImageNet-1K上的分类结果
先决条件
Python 3.x
 凯拉斯
准备数据集
该存储库使用数据集。 当您运行训练脚本时，数据集将被自动下载。 （请注意，您不能使用Cifar10数据集运行Inception系列模型，因为当Cifar10为32时，Inception系列模型中可用的最小输入大小为139。因此，请尝试将Inception系列模型与其他数据集一起使用。）
CBAM_block和SE_b

			
		

	





	

		

			

				
					
毕设新项目Keras框架基于融入自适应注意力机制的U-net算法实现甲状腺节分割源码+模型.zip

				
			

			

				

					07-25
				

			

		

		

			
				
4、如果基础还行，或热爱钻研，亦可在此项目代码基础上进行修改添加，实现其他不同功能。 欢迎下载！欢迎交流学习！不清楚的可以私信问我！  毕设新项目Keras框架基于融入自适应注意力机制的U-net算法实现甲状腺节...

			
		

	





	

		

			

				
					
Unet 改进：加入SAM的bbox分割代码

					
最新发布

				
			

			

				

					09-07
				

			

		

		

			
				
对Unet进行改进，融合了sam的提示框分割，即网络在推理的时候输入提示框，然后对内部的data进行分割推理。评估指标采用deice，代码曾在腹部多脏器进行训练，平均dice系数达到了0.93+  关于网络的训练，参考readme...

			
		

	





	

		

			

				
					
基于残差块和注意力机制的细胞图像分割方法

				
			

			

				

					02-21
				

			

		

		

			
				
针对相衬显微镜采集的细胞图像具有亮度不...最后,利用注意力机制加重细胞区域的权重,降低亮度不均衡、对比度较低对模型的干扰。实验结果表明,与其他模型相比,所提模型在视觉效果和客观评价指标上均有较好的分割效果。

			
		

	





	

		

			

				
					
基于注意力残差U-Net的皮肤镜图像分割方法

				
			

			

				

					qq_61890005的博客
				

				

					12-02
					
					240
					
				

			

		

		

			
				
针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题，本文提出了一种基于注意力残差U-Net（attention residual block-UNet，ARB-UNet）的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutional block attention module,CBAM)引入到U-Net模型的“跳过连接”中；

			
		

	





	

		

			

				
					
Attention UNet

					
热门推荐

				
			

			

				

					weixin_46720482的博客
				

				

					10-25
					
					1万+
					
				

			

		

		

			
				
Attention UNet论文解析 - 知乎Attention UNet论文地址： https://arxiv.org/pdf/1804.03999.pdf 代码地址： https://github.com/ozan-oktay/Attention-Gated-NetworksAttention UNet在UNet中引入注意力机制，在对编码器每个分辨率上的特征与解…图像分割UNet系列------Attention Unet详解_gz7seven的博客-CSDN博客_attention unet。

			
		

	





	

		

			

				
					
Unet改进3：在不同位置添加NAMAttention注意力机制

				
			

			

				

					m0_51530640的博客
				

				

					08-24
					
					154
					
				

			

		

		

			
				
识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性。

			
		

	





	

		

			

				
					
unet 添加注意力机制

				
			

			

				

					09-07
				

			

		

		

			
				
要给UNet模型添加注意力机制，你可以使用SE-UNet或CBAM-UNet等变种。以下是使用SE-UNet作为示例的步骤：

1. 定义SE-Block：SE-Block是自注意力机制中常用的一种。它通过学习特征通道间的关系来增强特征图。你可以将其添加到UNet的编码器和解码器的每个块上。
   - 输入：特征图 (H, W, C)
   - 过程：
     1. 全局平均池化：将特征图池化成一个特征向量 (C,)
     2. 全连接层：将特征向量映射到更高维度的潜在空间中
     3. 激活函数：例如ReLU
     4. 全连接层：将潜在空间投影回原始维度
     5. Sigmoid函数：将输出限制在0到1之间
   - 输出：特征图 (H, W, C)

2. 修改UNet模型的编码器和解码器块，为每个块添加SE-Block。
   - 在每个编码器块的输出之前添加SE-Block。这将增强每个块中的重要特征。
   - 在每个解码器块的输入之前添加SE-Block。这将帮助模型在还原分辨率时保留关键细节。

3. 进行训练和推理：
   - 使用带有SE-Block的UNet模型进行训练，可以使用像交叉熵损失函数之类的标准损失函数。
   - 在推理阶段，使用添加了SE-Block的UNet模型对测试图像进行分割。

这只是一种添加注意力机制的方式。你还可以尝试其他变种，如CBAM-UNet等。记得调整注意力机制的参数和超参数以获得最佳性能。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
AICurator

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值