Unet改进7：在不同位置添加SimAM注意力机制||无参数的卷积神经网络注意模块

最新推荐文章于 2024-08-25 12:21:24 发布
最新推荐文章于 2024-08-25 12:21:24 发布
阅读量117 收藏
点赞数 4
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 语义分割 unet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141527718
版权

本文内容：在不同位置添加SimAM注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。

具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。

我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。

该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。对各种视觉任务的定量评估表明，该模型灵活有效地提高了许多卷积神经网络的表示能力

1.步骤一

新建blocks/Simattention.py文件，添加如下代码：

import torch
from torch import nn


class SimAM(torch.nn.Module):
    def __init__(self, e_lambda=
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
《YOLOv8原创自研》专栏介绍 & CSDN独家改进创新实战&专栏目录
12-02 6308
全网独家首发创新（原创），适合paper ！！！
《YOLOv8魔术师》专栏介绍 & CSDN独家改进创新实战&专栏目录
07-03 9476
Yolov8魔术师，独家首发创新（原创），持续更新，适用于Yolov5、Yolov7、Yolov8等各个Yolo系列，专栏文章提供每一步步骤和源码，轻松带你上手魔改网络
ICML 2021 | SimAM 无参注意力机制!(keras实现)
u011447962的博客
07-30 5438
中山大学 paper:http://proceedings.mlr.press/v139/yang21o/yang21o.pdf code:https://github.com/ZjjConan/SimAM
Unet改进8：在不同位置添加SpatialGroupEnhance||空间群智能增强:改进卷积网络中的语义特征学习
最新发布
m0_51530640的博客
08-25 5
卷积神经网络(Convolutional Neural Networks, cnn)通过收集分层的、不同部分的语义子特征来生成复杂对象的特征表示。这些子特征通常以分组的形式分布在每一层的特征向量中[43,32]，代表各种语义实体。然而，这些子特征的激活往往受到相似模式和噪声背景的空间影响，导致错误的定位和识别。我们提出了一个空间群智能增强(SGE)模块，该模块可以通过为每个语义组中的每个空间位置生成注意因子来调整每个子特征的重要性，从而使每个个体组能够自主增强其学习到的表达并抑制可能的噪声。
一分钟教会你五种CycleGAN的优质创新思路（附代码）
记录学习的小白
07-17 6872
本文的创新点部分，是来自我即将发表的一篇核心文章！！！ 效果好的一批，分享给所有努力学习的你们。代码都开源了，要个赞不过分吧！
YOLOV8V10改进系列指南
热门推荐
qq_37706472的博客
02-19 4万+
YOLOV8V10改进系列指南，仅仅69.9包含YOLOV8、YOLOV10的两个主流模型改进方案、含有180+种改进的集合，且含有多种二次创新和原创改进！
《YOLOv10魔术师专栏》专栏介绍 & 专栏目录
06-03 4104
《YOLOv10魔术师专栏》专栏介绍 & 专栏目录
目标检测YOLO实战应用案例100讲-基于改进YOLOv4算法的自动驾驶场景 目标检测
qq_36130719的博客
11-02 1781
随着21世纪的到来，我国人民的生活水平不断提高，人们对高品质生活的渴望 不断增强，居民对于汽车的需求也逐年增加，汽车保有量呈上升趋势。据2022年中国 汽车工业协会发布汽车全年产业产销数据，分别完成2702.1万辆和2686.4万辆，同比 增长3.4%和2.1%，全年实现小幅增长。驾车出行确实可以带给人们方便，但也加剧 了交通堵塞以及尾气所带来的空气污染等问题，同时行车安全也考验着每一位驾驶员 的驾驶技术。根据中华人民共和国2022年国民经济和社会发展统计公报，道路交通事 故万车死亡人数1.46人。
2021计算机视觉-包揽所有前沿论文源码 -下半年
江南才尽江南山，年少无知年少狂！
09-14 3718
大家是否遇到过这种情况，就是在工作或者学习的时候，想去找一些方向的网络，但是呢，尴尬的是，老旧的网络里不想要，前沿的网络又不知道有哪些。为了解决大家的这个困扰，本人决定收集2021年上半年大部分前沿的网络相关链接，之后我会(文末附带\color{blue}{文末附带}文末附带公众号−\color{blue}{公众号 -}公众号−海量资源。\color{blue}{ 海量资源}。海量资源。)： 每周一更新一次（下面是我多年年收集的链接地址）\color{red}{每周一更新一次（下面是我多年年收集的链接地址）
基于注意力机制的遥感图像分割模型
01-25
该模型建立在深度图像分割模型的基础上,提出在高低层特征融合之前采用通道注意力机制对低层特征进行加权处理,增强目标特征并抑制背景特征,提高信息的融合效率。为进一步增强模型对目标特征的响应能力,提出位置注意力...
基于Unet模型和并联注意力机制实现猫和老鼠动画片的语义分割.zip
02-06
在本项目"基于Unet模型和并联注意力机制实现猫和老鼠动画片的语义分割.zip"中，我们将探讨如何利用深度学习模型Unet结合自注意力机制来对动画片中的猫和老鼠进行精确的语义分割。 Unet模型是2015年提出的，由...
毕设新项目Keras框架基于融入自适应注意力机制的U-net算法实现甲状腺节分割源码+模型.zip
07-25
4、如果基础还行，或热爱钻研，亦可在此项目代码基础上进行修改添加，实现其他不同功能。 欢迎下载！欢迎交流学习！不清楚的可以私信问我！ 毕设新项目Keras框架基于融入自适应注意力机制的U-net算法实现甲状腺节...
卷积神经网络+网络结构+绘制网络结构图
11-15
资源适用于对展示卷积神经网络具体结构有需求的研究人员，用户在下载本项目后按照README官方教程中的Getting Started部分进行使用，简单学习过语法后便可以通过test_simple.py代码绘制自己的卷积神经网络结构并在同...
基于卷积神经网络UNet构建糖尿病性黄斑水肿自动识别模型.pdf
09-25
"基于卷积神经网络UNet构建糖尿病性黄斑水肿自动识别模型.pdf" 这篇论文的主要内容是介绍基于卷积神经网络UNet构建糖尿病性黄斑水肿自动识别模型。糖尿病性黄斑水肿（Diabetic Macular Edema，DME）是糖尿病引起...
深度学习100问10-什么是CBOW模型
yyq916的博客
08-24 101
为了完成这个任务，CBOW 会先把这些线索词（周围的词）都转换成向量，然后把这些向量加起来或者求平均，得到一个综合的向量表示。接着，CBOW 会用这个综合向量去预测目标词。在这个过程中，CBOW 就学会了如何把每个词都用一个向量来表示，而且意思相近的词对应的向量也会比较接近。这样训练出来的词向量可以用于很多自然语言处理任务，比如文本分类、情感分析、机器翻译等。它从一个文本中选取一个词作为目标词，然后把这个目标词周围的几个词当成线索。CBOW 的任务就是根据这些线索来猜出目标词是什么。
深度学习多GPU训练原理
https://github.com/heatMa
08-18 366
详细参考《动手学深度学习》P233，8.4节多GPU计算。
读论文《Temporal Graph Networks for Deep Learning on Dynamic Graphs》
buganything的博客
08-21 972
作者提出了一种名为Temporal Graph Networks（TGNs）的新型深度学习框架，专门用于处理动态图数据。动态图是指图的结构或特征随时间变化的图，例如社交网络或生物互作网络。
基于深度学习的环境感知系统
weixin_42605076的博客
08-21 535
基于深度学习的环境感知系统是一类能够理解、感知和解读周围环境的智能系统。通过使用深度学习算法，这些系统可以分析多模态数据（如图像、音频、激光雷达数据等），实时感知环境的动态变化，为自动驾驶、机器人、智能家居等领域提供关键支持。
unet添加注意力机制代码位置
03-28
在UNet模型中添加注意力机制的代码通常放在模型的构建部分。具体来说，可以在UNet的编码器和解码器之间添加注意力模块，以便在特定部分增强模型的分割性能。 以下是一个示例代码片段，其中添加了注意力机制： ``` import torch import torch.nn as nn class Attention(nn.Module): def __init__(self, in_channels): super(Attention, self).__init__() self.conv = nn.Conv2d(in_channels=in_channels, out_channels=1, kernel_size=1) self.sigmoid = nn.Sigmoid() def forward(self, x): x = self.conv(x) x = self.sigmoid(x) return x class UNet(nn.Module): def __init__(self, in_channels=3, out_channels=1, features=[64, 128, 256, 512]): super(UNet, self).__init__() self.encoder = nn.ModuleList() self.decoder = nn.ModuleList() self.pool = nn.MaxPool2d(kernel_size=2, stride=2) # Encoder for feature in features: self.encoder.append( nn.Sequential( nn.Conv2d(in_channels, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True) ) ) in_channels = feature # Attention self.attention = Attention(features[-1]) # Decoder for feature in reversed(features): self.decoder.append( nn.Sequential( nn.Conv2d(feature*2, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature, feature, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.ConvTranspose2d(feature, feature//2, kernel_size=2, stride=2), ) ) self.decoder.append( nn.Sequential( nn.Conv2d(feature, feature//2, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(feature//2, feature//2, kernel_size=3, padding=1), nn.ReLU(inplace=True), ) ) feature //= 2 # Output self.output = nn.Conv2d(64, out_channels, kernel_size=1) def forward(self, x): skip_connections = [] # Encoder for encoder in self.encoder: x = encoder(x) skip_connections.append(x) x = self.pool(x) # Attention x = self.attention(x) # Decoder for i in range(0, len(self.decoder), 2): decoder = self.decoder[i] skip_connection = skip_connections[-(i//2+2)] x = decoder(x) x = torch.cat([x, skip_connection], dim=1) x = self.decoder[i+1](x) # Output x = self.output(x) return x ``` 在这个例子中，注意力模块被添加到UNet模型的最后一个编码器之后。具体来说，我们定义了一个名为Attention的新模块，并在UNet的初始化函数中创建了一个实例。在前向传递中，我们将编码器输出传递给Attention模块，并将其输出乘以编码器的最终输出。这样，注意力机制可以集中模型的注意力在最相关的特征图上，从而提高分割性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值