学习记录——SegNetr、EGE-UNet、R2AU-Net、PHNet、CFNet

SegNetr: Rethinking the local-global interactions and skip connections in U-shaped networks

前导:

  • 集中于设计复杂的自注意力模块,以弥补基于卷积操作捕获长距离上下文依赖的不足,从而增加了网络的参数和计算复杂性;
  • 过于简单地融合编码器和解码器的特征,忽略了它们之间空间位置的关联性。
      论文引入了一种新颖的SegNetr块,可以在任意阶段动态地执行局部-全局交互,并且具有线性复杂度。同时,论文设计了一种通用的信息保留跳跃连接,用于保留编码器特征的空间位置信息,并与解码器特征进行准确融合。
    在这里插入图片描述
      SegNetr 是一个典型的分层 U 型网络,其中包括 SegNetr 块和 IRSC 两个重要组件。为了使网络更轻量化,作者基于 MBConv 作为基础卷积构建块。SegNetr 块在编码器和解码器阶段实现了动态的局部-全局交互。使用补丁合并将分辨率降低两倍,同时不丢失原始图像信息。此外,IRSC 则用于融合编码器和解码器的特征,减少随着深度增加而网络丢失的细节信息。

在这里插入图片描述

  SegNetr 块,这是 SegNetr 整个网络的核心组件,通过局部-全局交互实现特征的动态处理。它使用 MBConv 作为基础卷积模块,并引入局部和全局分支来实现交互。
在这里插入图片描述

  此处,局部分支时通过计算非重叠小补丁的注意力矩阵,实现局部交互。而全局分支通过对空间上非连续补丁的聚合和位移操作,实现全局交互。局部和全局分支最终通过加权求和进行融合。这种设计不仅减少了计算复杂度,还更好地捕捉了图像中的局部和全局信息。
在这里插入图片描述
  信息保留跳跃连接通过 Patch Merging 和 Patch Reverse ,实现了编码器和解码器特征的融合。其中,Patch Merging 的具体操作时将输入特征图的分辨率降低,同时扩展通道维度,以保留更多高分辨率的细节信息。而 Patch Reverse 用于恢复编码器的空间分辨率,并与解码器的上采样特征进行融合。这样可以更好地恢复特征图的细节和位置信息,提高分割的准确性。

EGE-UNet: an Efficient Group Enhanced UNet for skin lesion segmentation

上海交大 2023 MICCAI

  基于 U-Net 进行魔改,用于解决医学图像(尤其是皮肤病变)分割中面临的问题。由于它是针对移动健康应用开发的,解决了当前许多模型所面临的高参数和计算负载问题。
EGE-UNet融合了两个主要模块:

  • Group multi-axis H
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Chaoy6565

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值