重新思考局部-全局上下文交互：SegNetr 在医学图像分割中的应用_重新思考局部-全局上下文交互:segnetr 在医学图像分割中的应用-CSDN博客

本文链接：https://blog.csdn.net/CVHub/article/details/132255533

导读

论文：《SegNetr: Rethinking the local-global interactions and skip connections in U-shaped networks》

今天主要介绍了一种名为SegNetr的轻量级医学图像分割网络，并针对传统编解码网络中的局部-全局交互和长跳跃连接操作进行了重新思考和改进。

众所周知，在医学图像分割领域，U-Net 类型的网络基本已经成为主流。然而，作者认为，现有的 U 型分割网络仍然存在以下问题：

集中于设计复杂的自注意力模块，以弥补基于卷积操作捕获长距离上下文依赖的不足，从而增加了网络的参数和计算复杂性；
过于简单地融合编码器和解码器的特征，忽略了它们之间空间位置的关联性。

为了解决上述问题，论文引入了一种新颖的SegNetr块，可以在任意阶段动态地执行局部-全局交互，并且具有线性复杂度。同时，论文设计了一种通用的信息保留跳跃连接，用于保留编码器特征的空间位置信息，并与解码器特征进行准确融合。

最后，本文在四个主流的医学图像分割数据集上验证了所提方法的有效性，相比于传统的U-Net，SegNetr 的参数和计算复杂性分别减少了 59％和 76％，同时实现了与最先进方法相媲美的分割性能。值得注意的是，本文提出的方法也是一个即插即用型组件，大家可以轻松应用于任意的编解码网络，以进一步提高模型的分割性能。

方法

本文方法如图 1 所示。可以看出，SegNetr 是一个典型的分层 U 型网络，其中包括 SegNetr 块和 IRSC 两个重要组件。为了使网络更轻量化，作者基于 MBConv 作为基础卷积构建块。SegNetr 块在编码器和解码器阶段实现了动态的局部-全局交互。使用补丁合并将分辨率降低两倍，同时不丢失原始图像信息。此外，IRSC 则用于融合编码器和解码器的特征，减少随着深度增加而网络丢失的细节信息。

MBConv and Fused-MBConv in EfficientNetV2

SegNetr

首先，我们一起看下 SegNetr 块，这是 SegNetr 整个网络的核心组件，通过局部-全局交互实现特征的动态处理。它使用 MBConv 作为基础卷积模块，并引入局部和全局分支来实现交互。

如何实现“局部”和“全局”上下文捕捉？

此处，局部分支时通过计算非重叠小补丁的注意力矩阵，实现局部交互。而全局分支通过对空间上非连续补丁的聚合和位移操作，实现全局交互。局部和全局分支最终通过加权求和进行融合。这种设计不仅减少了计算复杂度，还更好地捕捉了图像中的局部和全局信息。

IRSC

信息保留跳跃连接通过 Patch Merging 和 Patch Reverse ，实现了编码器和解码器特征的融合。其中，Patch Merging 的具体操作时将输入特征图的分辨率降低，同时扩展通道维度，以保留更多高分辨率的细节信息。而 Patch Reverse 用于恢复编码器的空间分辨率，并与解码器的上采样特征进行融合。这样可以更好地恢复特征图的细节和位置信息，提高分割的准确性。

实验

:::block-1

首先，在ISIC2017数据集上，SegNetr和TransUNet的IoU达到了最高值（0.775），比基准U-Net高出3.9%。即使是参数更少的SegNetr-S也能够获得与UNeXt-L相似的分割性能。在PH2数据集上，我们观察到基于Transformer的方法Swin-UNet的分割性能最差，这与目标数据集的数据量直接相关。而本文方法在该数据集上获得了最佳的分割性能，并保持了较低的计算开销。虽然该方法使用了基于窗口位移的注意力方法，但卷积神经网络具有更好的归纳偏差，因此与Swin-UNet或TransUNet等基于Transformer的方法相比，对数据量的依赖性较小。
:::

:::block-1

在表格2中，作者将SegNetr的IoU和Dice与双编码器FATNet进行了比较，结果显示SegNetr的IoU和Dice分别比FATNet高出1.6%和0.8%，而GFLOPs则减少了32.65。在ACDC数据集中，左心室的分割相对较容易，U-Net的IoU为0.861，但比SegNetr差1.1%。心肌位于左右心室之间，呈环状模式，所提方法的IoU比专注于边界分割的EANet高0.6%。此外，我们观察到四个网络UNeXt、UNeXt-L、SegNetr-S和SegNetr的分割性能，发现更小的参数可能限制了网络的学习能力。
:::

:::block-1