SSTrans-Net: Smart Swin Transformer Network for medical image segmentation

SSTrans-Net：用于医学图像分割的智能 Swin Transformer 网络

医学图像分割通过一些最近基于Transformer的工作取得了令人印象深刻的结果。特别是Swin Transformer在一些分割任务中展示了该方法的优越性。然而，在Swin Transformer中，相同且固定的掩码阻止了所有通道中超长范围像素之间的所有交互。对于多器官分割，捕捉一些通道中的长程依赖关系是有益的。在本文中，我们提出了一个用于多器官分割的U形智能Swin Transformer网络（SSTrans-Net）。在SSTrans-Net中，智能移动窗口多头自注意（SSW-MSA）模块被用来替换基于Swin Transformer中的掩码的模块，用于学习不同通道的特征，重点关注器官之间的相关依赖关系。特别是，在专注于目标分布的通道中保持有效的长程依赖，并从专注于局部上下文的通道中删除该依赖。此外，我们引入Dice和Focal损失函数来监督智能Swin Transformer的优化，以提高其平衡全局和局部特征的能力。对Synapse和ACDC数据集的实验证明，我们的策略需要比大多数分割器更少的计算资源，并且能够显著提高模型的分割性能。我们的代码可在 https://github.com/suofer/Smart-Swin-Transformer 获取。

图1. 提出的Smart Swin Transformer中SSW-MSA的主要工作。绿色框的移动表示了移动窗口。红色框表示在给定通道中由Smart Mask限制后用于计算自注意分数的范围。每个通道的掩码都是不同的，这里只显示了其中一个（用于提取前景像素的相互作用的通道）。

图2. SSTrans-Net的架构。𝐶0是输入图像的通道数。