Unet改进38：添加GLSA(2024最新改进方法)具有聚合和表示全局和局部空间特征的能力，这有利于分别定位大目标和小目标

已于 2024-09-19 21:32:51 修改
阅读量1k 收藏 5
点赞数 2
分类专栏： Unet和Unet++改进专栏 文章标签： 深度学习 神经网络 机器学习 语义分割 unet
于 2024-09-19 21:27:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/142370208
版权

本文内容：在不同位置添加GLSA注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

基于变压器的模型已经被广泛证明是成功的计算机视觉任务，通过建模远程依赖关系和捕获全局表示。然而，它们往往被大模式的特征所主导，导致局部细节(例如边界和小物体)的丢失，这在医学图像分割中是至关重要的。为了缓解这一问题，我们提出了一种双聚合变压器网络，称为DuAT，其特点是两个创新的设计，即全局到局部空间聚合(GLSA)和选择性边界聚合(SBA)模块。GLSA具有聚合和表示全局和局部空间特征的能力，这有利于分别定位大目标和小目标。SBA模块用于聚合底层特征的边界特征和高层特征的语义信息，以更好地保留边界细节和定位重标定目标。在六个基准数据集上进行的大量实验表明，我们提出的模型在皮肤病变图像和结肠镜图像中的息肉分割方面优于最先进的方法。此外，我们的方法在小目标分割和模糊目标边界等各种具有挑战性的情况下比现有方法更具鲁棒性。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Pointnet++改进即插即用系列：全网首发GLSA聚合和表示全局和局部空间特征|即插即用，提升特征提取模块性能
AIcurator的博客
07-03 1390
基于变压器的模型已经被广泛证明是成功的计算机视觉任务，通过建模远程依赖关系和捕获全局表示。然而，它们往往被大模式的特征所主导，导致局部细节(例如边界和小物体)的丢失，这在医学图像分割中是至关重要的。为了缓解这一问题，我们提出了一种双聚合变压器网络，称为DuAT，其特点是两个创新的设计，即全局到局部空间聚合(GLSA)和选择性边界聚合(SBA)模块。GLSA具有聚合和表示全局和局部空间特征的能力，这有利于分别定位大目标和小目标。
UNet 改进：添加PPA 2024多分支特征提取策略详解
最新发布
Henry的博客
04-02 116
多分支特征提取（Multi-Branch Feature Extraction）是PPA（Pyramid Pooling Attention）2024改进的核心模块，旨在通过。：通过交叉注意力（Cross-Branch Attention）或特征图拼接+1×1卷积实现信息交互。：动态权重机制使模型灵活应对不同输入（如纹理复杂区域激活局部分支，平滑区域依赖全局分支）。：通过轻量级全连接层或SE模块生成各分支的权重，实现动态特征融合。：设计辅助损失函数（如分支特征一致性约束），避免分支退化。
Pointnet++的改进
qq_27353621的博客
07-04 2839
Pointnet++改进
PointNet++改进策略 ：模块改进 | x-Conv | PointCNN， 结合局部结构与全局排列提升模型性能
u012901740的博客
09-10 1909
这篇论文介绍了一种名为PointCNN的方法，旨在从点云（point cloud）数据中学习特征。传统卷积神经网络（CNN）在处理规则网格数据（如图像）时非常有效，但由于点云是无序且不规则的，直接在其上应用卷积操作会导致形状信息丢失，并对点的排列顺序敏感。为了解决这一问题，论文提出了一种X-Conv操作。该方法通过学习一种来重新排列点云中的点并加权输入特征。然后，将典型的卷积操作应用于转换后的特征。这种方法将传统的 CNN 扩展到点云特征学习，并命名为PointCNN。
PointNet++改进策略 ：模块改进 | PAConv，位置自适应卷积提升精度
u012901740的博客
09-04 1799
PAConv，全称为位置自适应卷积（Position Adaptive Convolution），是一种用于处理3D点云数据的通用卷积操作。不同于传统的2D卷积，PAConv通过根据点在三维空间中的位置动态组合卷积核。它的实现依赖于一个称为权重库（Weight Bank）的结构，该结构存储了基本的权重矩阵。这些矩阵通过一个称为ScoreNet的网络动态组合，ScoreNet根据点的位置关系学习如何自适应地组装这些卷积核。动态卷积核组装。
PointNet++改进策略 ：模块改进 | 双边增强模块 | 自适应融合模块 | ，将多分辨率特征在点级别自适应地融合，确保模型能够充分利用不同分辨率下的特征信息
u012901740的博客
09-18 1353
这篇论文的标题是《Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion》（通过双边增强和自适应融合进行真实点云场景的语义分割）。文章的核心内容是在处理大规模点云数据的语义分割任务上提出了一个新的网络架构。双边增强（Bilateral Augmentation）：为了减少点云中相邻点之间的歧义，提出了一种双边增强方法，通过几何和语义特征的结合，来扩展点的局部上下文信息。
PointNet++改进策略 ：模块改进 | OA-CNNs | ， 全自适应3D稀疏卷积神经网络（OA-CNNs），超越基于Transformer的模型，同时显著降低计算和内存成本
u012901740的博客
10-01 1570
这篇论文主要研究了3D语义分割领域中的一种新型稀疏卷积神经网络（CNN），称为全自适应3D稀疏CNN（Omni-Adaptive 3D Sparse CNNs，简称OA-CNNs）。研究的重点是提升传统稀疏CNN的性能，使其在精确度和计算效率上都能与基于Transformer的网络模型相媲美或超越。研究中指出，现有的稀疏CNN在3D语义分割任务上通常不如基于Transformer的模型，原因在于其缺乏足够的自适应性。
Unet++改进38：添加GLSA(2024最新改进方法)具有聚合和表示全局和局部空间特征的能力，这有利于分别定位大目标和小目标
AIcurator的博客
11-21 527
基于变压器的模型已经被广泛证明是成功的计算机视觉任务，通过建模远程依赖关系和捕获全局表示。然而，它们往往被大模式的特征所主导，导致局部细节(例如边界和小物体)的丢失，这在医学图像分割中是至关重要的。为了缓解这一问题，我们提出了一种双聚合变压器网络，称为DuAT，其特点是两个创新的设计，即全局到局部空间聚合(GLSA)和选择性边界聚合(SBA)模块。GLSA具有聚合和表示全局和局部空间特征的能力，这有利于分别定位大目标和小目标。
Unet改进44：添加MogaBlock(2024最新改进模块)|在纯基于卷积神经网络的模型中进行判别视觉表示学习，具有良好的复杂性和性能权衡。
AIcurator的博客
09-23 1145
通过将内核尽可能全局化，现代卷积神经网络在计算机视觉任务中显示出巨大的潜力。然而，最近在深度神经网络(dnn)内的多阶博弈论相互作用方面的进展揭示了现代卷积神经网络的表示瓶颈，其中表达性相互作用不能随着核大小的增加而有效编码。为了应对这一挑战，我们提出了一个新的现代卷积神经网络家族，称为MogaNet，用于在纯基于卷积神经网络的模型中进行判别视觉表示学习，具有良好的复杂性和性能权衡。MogaNet将概念上简单但有效的卷积和门控聚合封装到一个紧凑的模块中，在这个模块中，判别特征被有效地收集和自适应地上下文化。
Unet改进33：添加ConvolutionalGLU(2024最新改进方法)|紧凑的网络结构和高效的运算
AIcurator的博客
09-13 762
由于残差连接的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉变形模型往往不能形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，在本文中，我们提出了聚合注意力，这是一种基于仿生设计的令牌混合器，它模拟生物中央凹视觉和连续眼运动，同时使特征映射上的每个令牌具有全局感知。此外，我们结合了可学习的令牌，与传统的查询和键交互，这进一步多样化了亲和矩阵的生成，而不仅仅依赖于查询和键之间的相似性。我们的方法不依赖于堆叠进行信息交换，从而有效地避免了深度退化，实现了自然的视觉感知。
Unet改进41：添加gConvBlock(2024最新改进方法)|
AIcurator的博客
09-20 802
图像去雾是低层次视觉中的一个活跃话题，随着深度学习的快速发展，许多图像去雾网络被提出。尽管这些网络的管道运行良好，但改善图像去雾性能的关键机制仍不清楚。因此，我们不打算提出具有花哨模块的除雾网络;相反，我们对流行的U-Net进行最小的修改，以获得紧凑的除雾网络。具体来说，我们使用门控机制将U-Net中的卷积块交换为残差块，使用选择性核融合主要路径的特征映射并跳过连接，并将得到的U-Net变体称为gUNet。因此，在显著降低开销的情况下，gUNet在多个图像去雾数据集上优于最先进的方法。
重振pointnet++雄风！PointNeXt: Revisiting PointNet++ with ImprovedTraining and Scaling Strategies
Torres9_1125的博客
06-19 3102
在本文中，我们证明了通过改进训练和缩放策略，可以提高PointNet++的性能，使其超过当前的技术水平。更具体地说，我们量化了目前广泛使用的每种数据增强和优化技术的效果，并提出了一套改进的训练策略。这些策略可以很容易地应用于提高PointNet++和其他代表性作品的性能。我们还将反向剩余MLP块引入PointNet++以开发PointNeXt。我们证明了PointNeXt在保持高吞吐量的同时，在各种基准上比PointNet++具有更高的性能和可扩展性。这项工作旨在引导研究人员更加关注培训和缩放策略的效果，并
Pointnet++改进67：添加SepConv和CGLU的组合创新模块
AIcurator的博客
11-06 596
摘要- metaformer是Transformer的抽象架构，在实现竞争性性能方面发挥了重要作用。在本文中，我们进一步探索了MetaFormer的能力，再次，通过将我们的重点从令牌混合器设计转移开来：我们使用最基本或最常见的混合器在MetaFormer下引入了几个基线模型，并展示了它们令人满意的性能。我们总结了我们的观察结果如下：(1)MetaFormer确保了可靠的性能下界。
DC-UNet：重新思考UNet架构和双通道高效CNN医学图像
weixin_43921949的博客
01-02 7561
DC-UNet
「论文阅读」SSA+PointNet++：该网络基于PointNet++改进
小麋鹿跑了的博客
02-13 5989
语义分割网络部分 主要由下采样，上采样和全连接部分组成；每个下采样部分都包含数据采样层、局部空间注意力层和注意力池化层；上采样层采用插值的方式进行原点映射。 分类网络部分 作者引入注意力机制来增强网络模型从稀疏采样点邻域中获得该邻域显著性结构（特征）的学习能力。 空间注意力机制： 采样点中心自注意力机制： 对采样点中心点（关键点）与他的每个邻居点的空间位置的编码向量做了注意力得分的计算； 每个邻域点与中心点的相对空间位置编码方式如下（借鉴了RandLA-Net）： MLP后.
Unet改进28：添加PPA(2024最新改进方法)|多分支特征提取策略，捕获不同尺度和层次的特征信息。
AIcurator的博客
09-08 885
红外小目标检测是一项重要的计算机视觉任务，涉及对红外图像中通常只有几个像素的微小目标进行识别和定位。然而，由于红外图像中物体的体积小，背景一般比较复杂，这给红外图像的识别带来了困难。在本文中，我们提出了一种深度学习方法HCF-Net，通过多个实用模块显著提高红外小目标检测性能。具体来说，它包括并行化的补丁感知注意(PPA)模块、维度感知选择性集成(DASI)模块和多扩展通道细化(MDCR)模块。PPA模块采用多分支特征提取策略，捕获不同尺度和层次的特征信息。DASI模块支持自适应信道选择和融合。
【精选】改进Unet的新冠肺炎等级分割系统（源码＆教程）
cheng2333333的博客
12-18 733
【精选】改进Unet的新冠肺炎等级分割系统（源码＆教程）
Unet改进49：全网首发直方图TransformerBlock（2024最新模块）|通过将空间特征按强度排序并划分为不同的直方图区域（bins），从而对相似的降质像素进行分组处理
AIcurator的博客
09-28 459
摘要。基于变压器的恶劣天气图像恢复方法取得了重大进展。它们大多使用沿通道维度或空间固定范围块的自关注来减少计算负荷。然而，这种折衷导致了在捕获远程空间特征方面的限制。由于观测到天气引起的退化因素主要导致相似的遮挡和亮度，在这项工作中，我们提出了一种有效的直方图转换器(Histogram Transformer, Histoformer)来恢复受恶劣天气影响的图像。它是由一种被称为直方图自注意的机制驱动的，该机制将空间特征分类并分割成基于强度的箱子。
bifpn-glsa
02-09
### BIFPN 和 GLSA 技术详解 #### 双向特征金字塔网络 (BiFPN) 双向特征金字塔网络(BiFPN)的关键创新在于其双向信息流机制，这种设计使得不同尺度的特征能够更加全面地融合，从而显著提升对象检测性能[^1]。传统单向特征金字塔网络(FPN)仅支持自顶向下或自底向上的单一方向的信息传递路径；而BiFPN则引入了多条平行连接路径，在每一层之间形成密集连接结构。 具体实现方式如下： - **节点间加权融合**：对于每一个中间层节点，来自上方、下方以及同级其他分支输入都会经过权重调整后再相加以获得最终输出。 - **跨尺度跳跃链接**：不仅限于相邻层次间的交互操作，还存在跨越多个级别的短路连接，确保低级别细粒度纹理信息得以有效传播至高级别抽象表征中去。 ```python def bifpn_layer(features, num_channels=256): P3_in, P4_in, P5_in = features # Top-down pathway with lateral connections P5_td = ConvBNReLU(num_channels)(P5_in) P4_td = Add()([ConvBNReLU(num_channels)(P4_in), UpSampling2D()(P5_td)]) # Bottom-up pathway with additional nodes P3_out = Add()([ConvBNReLU(num_channels)(P3_in), Downsample(P4_td)]) P4_out = Add()([ConvBNReLU(num_channels)(P4_in), P4_td]) P5_out = Add()([ConvBNReLU(num_channels)(P5_in), MaxPooling2D()(P4_td)]) return [P3_out, P4_out, P5_out] ``` #### 全局与局部空间聚合 (GLSA) 全局与局部空间聚合(GLSA)，作为UNet架构的一种重要改进措施，旨在解决基于变换器模型中存在的一个问题——即这些模型倾向于关注大规模模式特征而导致忽略掉一些细微之处如边界和小型物体等细节部分[^3]。为此，GLSA模块特别强调同时捕捉并处理图像内的宏观视图及其内部微观组成部分之间的关联性。 该方法的具体工作原理可以概括为两点： - **多层次感受野构建**：通过堆叠一系列卷积核大小各异的操作单元来扩大神经元的感受范围，进而增强对远距离上下文的理解能力； - **注意力引导的空间特征重组**：采用自注意机制计算各位置的重要性得分，并据此重新分配资源给那些更重要的区域，以此达到突出显示关键要素的目的。 ```python class GLSAModule(nn.Module): def __init__(self, channels): super().__init__() self.global_branch = nn.Sequential( nn.Conv2d(channels, channels//2, kernel_size=7, padding=3), nn.ReLU(), nn.Conv2d(channels//2, channels, kernel_size=1) ) self.local_branch = nn.Sequential( nn.Conv2d(channels, channels//2, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(channels//2, channels, kernel_size=1) ) self.attention = SpatialAttention() def forward(self, x): gfeat = F.interpolate(x, scale_factor=0.5, mode='bilinear') lfeat = self.local_branch(x) gfeat_up = F.interpolate(gfeat, size=x.size()[2:], mode='bilinear') combined = torch.cat((gfeat_up, lfeat), dim=1) att_map = self.attention(combined) out = combined * att_map return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值