51c视觉~合集6

whaosoft aiot  http://143ai.com

#CSWin-UNet

将自注意力机制集成到UNet中！CSWin-UNet：U型分割方法，显著提高计算效率和感受野交互！本文提出了CSWin-UNet，这是一种新颖的U型分割方法，它将CSWin自注意力机制集成到UNet中，以实现水平和垂直条纹的自注意力。这种方法显著提高了计算效率和感受野交互。 

深度学习，尤其是卷积神经网络（CNNs）和Transformer架构，在医学图像分割领域受到了广泛关注，并取得了令人瞩目的成果。然而，CNN固有的归纳偏置限制了它们在更复杂、更多变的分割场景中的有效性。 

相反，尽管基于Transformer的方法擅长捕捉全局和长距离的语义细节，但它们面临着计算成本高的挑战。 

在本研究中，作者提出了CSWin-UNet，这是一种新颖的U型分割方法，它将CSWin自注意力机制集成到UNet中，以实现水平和垂直条纹的自注意力。这种方法显著提高了计算效率和感受野交互。 

此外，作者创新性的解码器采用了一种内容感知重组算子，该算子根据预测的核策略性地重组特征，以精确恢复图像分辨率。作者在包括突触多器官CT、心脏MRI和皮肤病变在内的多样化数据集上的广泛实证评估表明，CSWin-UNet在保持低模型复杂性的同时，提供了高分割精度。

I Int roduction

医学图像分割是医学图像计算和计算机辅助干预领域的一个基本研究课题，主要通过处理图像以获取有益信息，例如病变器官或组织的形状、大小和结构，从而提供更准确和详细的诊断和治疗建议[1, 2]。

基于深度学习的医学图像分割方法能够直接在像素 Level 对整张图像进行分类，并已在多个医学领域得到广泛应用，包括肺部计算机断层扫描（CT）图像分割、脑部磁共振成像（MRI）分割以及心脏超声图像分割等。这些方法不仅提高了分割的准确性，还进一步推动了医学成像领域的发展。卷积神经网络（CNN）是计算机视觉领域中应用最广泛的深度学习技术之一。全卷积网络（FCN）[5]，作为CNN的一种扩展，促进了医学图像分割领域的发展。现有研究提出了扩展卷积和上下文学习方法，以解决传统卷积操作感受野有限的问题。此外，UNet以其创新的U形编码器-解码器设计和跳跃连接，将编码器和解码器的特征图合并，保留了浅层的关键空间细节。这种架构已成为图像分割领域的标准。UNet的增强衍生版本，如UNet++、AttentionUNet 和 ResUNet，进一步细化了分割能力，并在多种成像模态上提供了改进的性能。

尽管基于卷积神经网络（CNN）的方法在医学图像分割中取得了成功，但它们在捕获全局和长距离语义信息方面的能力有限，并且存在固有的归纳偏置问题。受到 Transformer 架构在自然语言处理（NLP）领域[16]的变革性影响，研究行人开始将这项技术应用于计算机视觉任务，旨在缓解CNN的一些局限性。Transformer 架构的核心是自注意力机制，它并行处理输入序列中所有位置嵌入的信息，而不是顺序处理。这种机制使得 Transformer 能够熟练地管理长距离信息依赖关系，并适应不同的输入序列长度。一种针对图像处理的特定改编——视觉 Transformer （Vision Transformer）[20]，通过将输入图像分割成一系列固定 Patch ，每个 Patch 转换成一个向量，然后由 Transformer 编码器处理，体现了这一点。通过编码阶段，自注意力建立 Patch 间的关系，捕捉全面的上下文信息。这些编码后的特征随后被用于目标检测和图像分割等任务，利用解码器或分类器。视觉 Transformer 的引入不仅为图像处理注入了新视角，而且取得了与传统CNN相媲美或超越的结果[21, 22, 23, 24]。尽管 Transformer 架构在处理全局和长距离语义信息方面表现出色，但由于其自注意力机制的广泛性，其计算效率往往受到影响。针对这种低效问题，Swin Transformer[25]创新性地采用了窗口自注意力机制，将注意力限制在图像中的离散窗口内，极大地降低了计算复杂性。然而，这种方法在一定程度上限制了感受野之间的交互。为了克服这一点，CSWin Transformer[26]提出了交叉形状窗口（CSWin）自注意力，它可以水平垂直并行地计算自注意力，以更低的计算成本取得更好的结果。此外，CSWin Transformer还引入了局部增强位置编码（LePE），在每个 Transformer 块上施加位置信息。与之前的位置编码方法[27, 28]不同，LePE直接操纵注意力权重的结果，而不是添加到注意力计算的输入中。LePE使得CSWin Transformer在目标检测和图像分割方面更为有效。随着 Transformer 的发展，许多研究将CNN与 Transformer 块结合起来。TransUNet[13]和LeViT-UNet[29]将UNet与 Transformer 结合，在腹部多器官和心脏分割数据集上取得了竞争性结果。此外，一些研究行人还开发了使用纯 Transformer 的分割模型。Swin-UNet[30]采用Swin Transformer块构建类似UNet架构的编码器和解码器，与TransUNet[31]相比，性能有所提升。然而，基于Swin Transformer的这种分割方法在感受野交互方面仍有限制，且计算成本也相对较高。

医学图像通常具有高分辨率，并包含许多相互关联的精细结构。作者主要关注的问题是如何在消耗较少计算资源的情况下更好地处理医学图像中的长距离依赖关系。此外，与语义分割相比，医学图像中准确的边界分割对于诊断和治疗至关重要。因此，作者研究的另一个重点是，在分割过程中如何保留更多详细信息并提供更明确的边界。受到创新的CSWin Transformer [26] 的启发，作者提出了一种新型的基于Transformer的医疗图像分割方法，名为CSWin-UNet。该方法旨在降低计算成本的同时提高分割准确性。

与TransUNet [13] 这种CNN-Transformer混合架构不同，CSWin-UNet类似于Swin-UNet [30]，是一种纯Transformer基础的U形架构。CSWin-UNet与Swin-UNet的关键区别在于，前者在编码器和解码器中配备了CSWin Transformer块，并根据不同尺度设计了不同数量的块。此外，作者在解码器中引入了CARAFE（内容感知特征重组）层 [31] 用于上采样。

最初，输入的医学图像被转换为卷积标记嵌入，然后由编码器处理以提取上下文特征。这些特征随后由CARAFE层上采样，该层能够精确地重新组装特征。此外，作者还使用了跳跃连接，以持续融合高级语义信息与低级空间细节。这个过程最终将特征嵌入转化为与原始输入尺寸相匹配的分割 Mask 。

通过十字形窗口自注意力机制，作者的方法可以在降低计算复杂性的同时，保持对医学图像的高效特征提取能力。此外，结合经典的UNet架构，它能够有效地在编码器和解码器中整合不同尺度的特征，从而提高分割准确性。最后，引入CARAFE层进行上采样可以更有效地保留分割目标的边缘和详细特征。

对CSWin-UNet方法的综合实验评估表明，与现有方法相比，它在分割准确性和稳健泛化能力方面具有优势。此外，它在降低医学图像分割任务的计算复杂性方面也显示出显著的优势。

本研究的主要贡献如下：

• 作者开发了一种新型的U形编码器-解码器网络架构CSWin-UNet，专门针对医疗图像分割采用了CSWin Transformer块。
• 引入了CSWin自注意力机制来实现水平和垂直条纹自注意力学习。这一增强显著扩大了每个标记的关注区域，促进了更全面的分析和上下文整合。
• 在解码器中，采用了CARAFE层替代传统的转置卷积或插值策略进行上采样。这种选择使得能够更精确地生成像素级分割 Mask 。
• 综合实验结果验证了CSWin-UNet不仅轻量级，而且在计算效率和分割准确性方面都超过了现有方法。

本文的结构安排如下：第二部分回顾了医疗图像分割领域的近期工作和进展，为本研究引入的创新技术提供了背景。第三部分详细描述了新提出的CSWin-UNet的方法论，突出了其架构及其组件的创新之处。第四部分展示了实验结果，证明了CSWin-UNet与现有方法相比的有效性和效率。第五部分总结了全文。

II Related works

Self-attention mechanisms in image segmentation_

在图像分割领域中，对自注意力机制的应用已经得到了广泛的研究。中的研究显示，为适合的场景设计不同的自注意力机制可以显著提高分割性能。在医学图像分割任务中，常涉及到微妙但关键的结构，自注意力机制能够更好地捕捉这些复杂结构之间的关系，使得设计出有效且适当的自注意力机制尤为重要。然而，许多现有的视觉Transformer仍然使用计算复杂度高的全局注意力机制，如图1(a)所示。为了解决这个问题，Swin Transformer [25]采用了移位版的局部自注意力机制，如图1(b)所示，通过滑动窗口机制实现了不同窗口之间的交互。此外，轴向自注意力[35]和交错注意力[36]分别沿水平和垂直方向计算条带内的注意力，如图1(c)和(d)所示。然而，轴向自注意力受限于序列机制和窗口大小，而交错注意力在特定应用中由于窗口重叠而表现不佳。CSWin Transformer [26]引入了十字形窗口（CSWin）自注意力机制，它能并行地计算水平和垂直条带区域的自我注意力。与之前的注意力机制相比，这种注意力机制在处理图像处理任务时更为通用且有效。

CNN-based medical image segmentation_

在医学图像分割领域，卷积神经网络（CNNs）被广泛采用，一些关键架构推动了该领域的发展。其中，全卷积网络（FCN）[5]以其端到端的架构脱颖而出，直接对像素进行分类，将全连接层转换为卷积层以适应任意大小的图像。UNet[9]模型，其特点是具有对称的U形编码器-解码器架构，在医学图像的精确分割方面表现出色。在FCN和UNet的基础上，已经提出了许多改进方法。例如，SegNet[37]结合了FCN和UNet的思想，使用最大池化操作符来提高分割 Mask 的准确性，并且已有效地应用于各种医学分割任务[38, 39]。UNet++[10]通过整合密集嵌套的跳跃连接扩展了原始UNet的设计，最小化了编码器和解码器之间的信息丢失，从而提高了分割性能。AttentionUNet[11]通过在UNet架构中增加注意力机制，提高了准确性和鲁棒性。最后，nnU-Net[40]提出了一种自适应的网络架构选择方法，能够根据特定任务需求和数据集特性自动优化模型配置，从而在各种分割挑战中增强了适应性。此外，MRNet[41]提出了一种多评分者一致模型来校准分割结果，而Pan等人[42]设计了一种混合监督学习策略来解决医学图像标签稀缺的问题。

Transformer-based medical image segmentation

鉴于医学影像的高分辨率和复杂性，它们包含了大量的像素和复杂的局部特征，传统的基于CNN的医学图像分割方法虽然在捕捉详细图像信息方面有效，但在获取全局和长距离语义上下文方面往往力不从心。相比之下，凭借其全局上下文建模能力，Transformer在有效编码更大接受域并学习远距离像素间关系方面发挥关键作用，从而提升分割性能。这一优势促使研究行人将Transformer融入到医学图像分割框架中。例如，TransUNet [13] 使用Transformer作为编码器来从医学图像中提取上下文表示，并结合基于UNet的解码器进行精确的像素级分割。这种组合展示了Transformer捕捉全局上下文信息的增强能力，从而提高了分割的准确性。同样，TransFuse [43] 在单一框架内整合了CNN和Transformer分支，并使用专门模块合并两条路径的输出以产生最终的分割 Mask 。此外，UNetR [44] 利用Transformer编码输入的3D图像，配合CNN解码器完成分割过程，而MT-UNet [45] 引入了一种混合Transformer架构，学习样本内和样本间的关系。HiFormer [46] 则提出了另一种混合模型，将两个CNN与Swin Transformer模块和双 Level 融合模块结合，以整合并传递多尺度特征信息到解码器。在纯Transformer方法中，SwinUNet [30] 使用Swin Transformer [25] 作为编码器来捕捉全局上下文嵌入，然后由UNet解码器逐步上采样，利用跳跃连接增强细节保留。此外，DFQ [47] 在Vision Transformer（ViT）框架内引入了解耦的特征 Query ，使分割模型能更广泛地适应不同的任务。

受到多头自注意力机制，尤其是CSWin Transformer [26] 的启发，作者开发了CSWin-UNet，这是一种基于CSWin自注意力的医学图像分割方法。该模型在节约计算资源的同时提升了分割的准确性，代表着将Transformer应用于医学图像分割领域的一个重大进步。

III Methodology

CSWin-UNet的整体架构如图2所示, 它由编码器、解码器和跳跃连接组成, 基本单元是 CSWin Transformer块。对于输入尺寸为  的医学图像, 与CvT[34]类似, 作者使用卷积标记嵌入（使用  的核和步长为 4 ）来获得  的 Patch 标记, 其通道数为  。编码器和解码器均由四个阶段组成。与UNet[5]一样, 跳跃连接被用于在编码器和解码器的每个阶段合并特征, 以更好地保留上下文信息。在编码器中, 使用卷积层  的核和步长为 2) 进行下采样, 将分辨率降低到输入大小的一半, 同时将通道数加倍。解码器中的上采样通过CARAFE层完成，将分辨率增加到输入大小的两倍，同时将通道数减半。最后，执行  CARAFE上采样操作将分辨率恢复到输入分辨率 , 并使用线性层将特征图转换为分割 Mask 。

CSWin Transformer块

传统的Transformer架构凭借其自注意力机制，在处理所有像素位置以建立全局语义依赖方面表现出色，然而这在高分辨率医学成像中会导致计算成本高昂。Swin Transformer [25]通过移位窗口注意力机制减轻了这些成本，该方法将图像划分为不同的、不重叠的窗口，从而实现局部的自注意力。这种适应有助于管理图像的高分辨率，同时控制计算复杂度。然而，这种方法的有效性取决于窗口大小；较小的窗口可能会遗漏一些全局信息，而较大的窗口可能会不必要地提高计算需求和存储要求。与移位窗口注意力机制相比，CSWin自注意力将注意力组织成水平和垂直的条纹，增强了并行计算能力。这种结构不仅节约计算资源，还拓宽了感受野内的交互作用。如图3所示，基于这种创新的自注意力设计构建的CSWin Transformer块包括一个CSWin自注意力模块、一个LayerNorm（LN）层、一个多层感知机（MLP）以及跳跃连接。这种配置在局部和全局信息处理之间达到了最优平衡，显著提高了复杂医学图像分割任务的效率和有效性。

在多头自注意力机制中, 输入特征  首先经过一次变换, 在  个头之间进行线性映射,  通常选择为偶数。与传统的自注意力和基于移位窗口的多头自注意力不同, CSWin自注意力独特地促进了在划分的水平或垂直条纹内进行局部自注意力学习, 如图4所示。这种配置允许每个头在其指定的条纹内水平或垂直地计算自注意力。这些操作并行进行, 有效地拓宽了注意力计算区域的范围, 同时减少了整体计算复杂度。

图4：CSWin自注意力机制的说明。首先, 将多个头  分为两组  和 , 分别在水平和垂直条纹上并行执行自注意力, 并连接输出。接下来, 可以调整条纹的宽度  以达到最佳性能。通常, 对于更高分辨率选择较小的 , 对于更低分辨率选择较大的  。

在CSWin Transformer的水平条纹自注意力配置中, 输入特征  被系统地划分为  个不重叠的水平条纹, 表示为 , 其中每个条纹的宽度为  由比例  确定。参数  是可调整的, 对于平衡计算复杂度与模型的学习能力至关重要。具体来说, 较大的  增强了模型在每个条纹内探索长距离像素相关性的能力, 有可能捕捉到更广泛的环境信息。考虑在一个特定 Head 的计算, 记为第  个 Head 。在这种情况下, Query (Q)、键（K）和值 (V) 的维度各为 , 其中  是通道数,  是总 Head 数。第  个水平条纹内第  个 Head 的自注意力输出  计算如下:

其中  是第  个水平条纹的特征图; ,  表示第  个 Head 的 、 和 V 的权重矩阵。这个操作分别对每个条纹并行执行,以允许在特定的水平条纹内进行自注意力。 个水平条纹的自注意力被连接起来, 构建第  个 Head 的水平自注意力H-Attention o  。

类似于水平条纹自注意力机制, 输入特征  被均匀划分为  个不重叠的垂直条纹  以进行垂直自注意力处理。其中条纹的高度也是 , 且  。以第 个注意力头为例, 其中 、 和 V 的维度为  。第  个注意力头在第  个垂直条纹中的自注意力输出  可以按以下方式计算:

其中,  是第  个垂直条纹的特征图。 个垂直条纹的自注意力被连接起来, 构建第  个注意力头的垂直自注意力 -Attention  :

作者将  个注意力头分为两组, 每组包含  个头。这些组中的每个头都生成其自注意力输出。第一组负责学习水平条纹自注意力, 而第二组学习垂直条纹自注意力。在分别计算自注意力之后, 这两个组的输出被连接起来。这种连接沿着通道维度进行：

式中  表示第  个注意力头;  是一个权重矩阵, 用于将多注意力头自注意力机制的拼接输出线性转换以产生最终的注意力输出, 这种线性转换有助于学习不同头之间的关系并融合注意力信息。拼接输出有效地结合了水平和垂直的上下文信息, 全面学习输入图像内的空间关系。

基于上述自注意力机制，CSWin Transformer块可以定义为：

其中  表示第  个CSWin Transformer块的输出或每个阶段的先前卷积层的输出。

Encoder

在编码器中, 输入图像的尺寸为 , 然后它们进入四个阶段进行特征提取。前三个阶段伴随着下采样操作。四个阶段中CSWin Transformer块的数量各不相同, 关于块数量的设置细节将在后文讨论。下采样层通过一个 Kernel 大小为  、步长为 2 的卷积层实现,将分辨率降低到输入大小的一半, 同时通道数翻倍。条带宽度  在不同阶段相应变化。随着分辨率的持续降低和通道数的增加, 在较大分辨率的阶段选择较小的 , 在较小分辨率的阶段选择较大的 , 有效地扩大了在每个较小分辨率阶段的每个标记的注意力区域。此外, 输入图像的分辨率为  。为了确保输入图像的中等特征图大小可以被  整除, 作者将四个阶段的  设置为 、、 和 7 。

Decoder

与编码器相对应, 解码器同样包含四个阶段。在最后三个阶段中, 通过CARAFE层实现图像分辨率和通道数的增加。这四个阶段中用于注意力学习的CSWin Transformer块的数量和条带宽度  与编码器中设定的参数一致。常用的上采样方法包括线性插值和转置卷积。双线性插值仅考虑相邻像素, 可能会模糊图像边缘, 导致分割结果的边界不清; 而转置卷积的感受野通常受限于核大小和步长, 这不仅限制了其表示局部变化的能力, 还需要学习转置卷积核的权重和偏置。与这些方法不同, 作者使用CARAFE [31] 来实现上采样。

CARAFE层是一种先进的上采样机制, 它主要由两个核心组件构成：一个核预测模块和一个内容感知重组模块。核预测模块首先通过一个卷积层从编码特征中预测重组核。它包括三个子模块：通道压缩器、上下文编码器和核归一化器。通道压缩器降低了输入特征图 中通道空间的维度, 从而降低了计算复杂性, 并专注于重要的特征信息。通道压缩之后, 上下文编码器处理降维后的特征图以编码上下文信息, 这对于生成重组核至关重要。每个预测的重组核通过核归一化器中的Softmax函数进行归一化, 以确保权重的输出分布是概率性的, 总和为 1 , 这增强了上采样过程的稳定性和性能。具有上采样比  （其中  为整数）, CARAFE旨在生成一个扩展的特征图  。对于  中的每个像素 , 它对应于  中的特定像素 , 由  和  确定。核预测模块  根据邻域  为每个像素  预测一个唯一的重组核 , 这是一个以  上的像素  为中心的  区域。这个邻域提取局部特征, 预测的核使用这些特征有效地重组并上采样特征图。

其中  表示内容编码器的感受野。

第二步是内容感知重组, 输入特征通过卷积层进行重组, 而内容感知重组模块  使用重组核  重组  。

其中  是重装核的大小。对于每个重装核 , 内容感知重装模块在局部方形区域内重新组装特征。模块  执行加权求和。对于像素位置  及其中心邻域 , 重装过程如下:

其中  。

 中的每个像素对上采样像素  的贡献各不相同。重新组装的特征图能够增强对局部区域内相关信息关注, 相较于原始特征图, 提供了更稳健的语义信息。此外, 与 UNet [9]类似, 作者使用跳跃连接将编码器和解码器输出的特征图进行合并, 从而提供了更丰富、更精确的空间信息, 有助于恢复图像细节。随后, 使用  卷积核在拼接后减少通道数, 确保与上采样过程中的特征通道数保持一致。

IV Experiments

Implementation details

CSWin-UNet是使用Python和PyTorch框架实现的。模型的训练和评估是在一块拥有24GB VRAM的NVIDIA(r) GeForce RTX(tm) 3090 GPU上进行的。作者使用从ImageNet [48]预训练的权重来初始化CSWin Transformer块, 以利用先验知识并加速收玫过程。在数据增强方面, 采用了翻转和旋转等方案, 以增强训练数据集的多样性, 从而帮助模型更好地泛化到未见过的数据。在训练阶段, 批量大小设置为 24 , 学习率设置为 0.05 。使用带有 0.9 动量和  权重衰减的随机梯度下降（SGD）方法进行优化。这种设置旨在平衡快速学习和收玫稳定性。此外, 为了有效地训练CSWin-UNet, 作者采用了一个组合损失函数, 该函数融合了Dice损失和交叉熵损失, 定义如下:

其中,  和  是两个超参数, 分别用于平衡  和Loss  对最终损失的影响。这个组合损失旨在同时关注像素 Level 的准确性和整体分割质量, 确保在各种医学图像分割任务中实现健壮的学习和性能提升。

Datasets and metrics

深度学习模型的性能在很大程度上依赖于用于训练的数据集的质量和规模。近年来，大规模数据集的发展显著推动了深度学习技术在各个领域的进步。在本节中，作者回顾了文献中常用的数据集以及用于评估深度学习模型性能的评价指标。

数据集

大多数深度学习研究依赖于大规模和高质量数据集的可用性。以下作者总结了文献中广泛使用的几个流行数据集。

• ImageNet

ImageNet是一个视觉数据库，用于视觉目标识别软件研究。它是计算机视觉领域最有影响力的数据集之一，包含超过1400万张图片和超过2万个类别。

• CIFAR-10和CIFAR-100

CIFAR数据集是一组常用于训练机器学习和计算机视觉算法的图像。CIFAR-10包含60,000张32x32彩色图像，分为10个类别；而CIFAR-100有100个类别，每个类别包含600张图像。

• MNIST

MNIST数据集是机器学习社区中的一个经典数据集，由28x28灰度手写数字图像组成。它包括一个包含60,000个样本的训练集和一个包含10,000个样本的测试集。

评价指标

评估深度学习模型的性能需要使用适当的评价指标。作者讨论文献中一些最常用的评价指标。

• 准确度

准确度是最直观的评价指标之一，通常被用作分类任务的标准默认度量。它定义为正确预测的数量除以总预测数量。

• 精确度、召回率和F1分数

在处理不平衡数据集时，精确度、召回率和F1分数是更具有信息量的评价指标。精确度衡量正确识别为阳性的比例，而召回率衡量正确识别出的实际阳性样本比例。

• Top-k准确度

Top-k准确度是标准准确度指标的一个变体。它衡量正确标签在top k预测中的百分比。

Iv-B1 Synapse dataset

synapse多器官分割数据集包括来自2015年MICCAI多图谱腹部器官分割挑战赛的30个CT扫描, 总共包含 3779 张腹部CT图像。每个CT扫描由85到198个切片组成, 每个切片像素为 , 每个 Voxel 的大小为  毫米 3 。按照文献 113 ， 50，18]中的设置，选择了用于训练的集合以及用于评估的12个集合。对八种腹部器官（主动脉、胆囊、左肾、右肾、肝脏、胰腺、脾脏、胃) 的分割性能使用平均Dice相似系数 (DSC)和平均Hausdorff距离 (HD) 作为评价指标。

Iv-B2 ACDC dataset

自动心脏诊断挑战（ACDC）数据集在2017年的ACDC挑战期间发布，提供了一个包含多个类别的心脏3D MRI数据集，其中包括通过电影式MR 1.5T和3T扫描仪获取的100组短轴MR心脏图像。医学专家为三个心脏结构提供了标注：右心室（RV）、心肌（MYO）和左心室（LV）[51]。作者随机选择了70组MR图像用于训练，10组用于验证，20组用于评估。ACDC数据集使用平均_dice相似性系数（DSC）作为评估指标，以评价三个心脏结构的分割结果。

Iv-B3 Skin lesion segmentation datasets

作者在ISIC2017 [52]，ISIC2018 [53]，以及PH[54]数据集上进行了实验。ISIC数据集包含了大量的皮肤镜图像，覆盖了各种皮肤病变。遵循HiFormer [46]中的设置，作者在ISIC2017数据集中使用了1400张图像进行训练，200张图像进行验证，以及400张图像进行测试；在ISIC2018数据集中使用了1815张图像进行训练，259张图像进行验证，以及520张图像进行测试；在数据集中使用了80张图像进行训练，20张图像进行验证，以及100张图像进行测试。作者使用平均Dice相似系数（DSC）、敏感性（SE）、特异性（SP）和准确率（ACC）作为指标来评估皮肤病变分割任务。

Results on Synapse dataset

如下表1所示，作者在Synapse数据集上提出的方法改善了平均DSC和HD。同时，作者在图5中展示了平均DSC、平均HD以及每个器官DSC的误差条（95%置信区间）。与TransUNet [13]和Swin-UNet [30]相比，作者的平均DSC分别提高了3.64%和1.99%，平均HD分别改善了12.83%和2.69%。值得注意的是，在胰腺分割方面，CSWin-UNet的DSC显著高于其他分割方法。与其他器官不同，胰腺具有模糊的边界和多变性，作者的方法在胰腺分割上取得了更精确的结果，表明作者的CSWin-UNet在复杂的分割环境中提供了更高的分割精度。

为了更直观地评估所提出的方法，作者进行了分割结果的视觉分析。图6展示了在Synapse数据集上的比较结果。第一行显示，在分割像胆囊（绿色标签）这样的小器官时，Swin-UNet和HiFormer-B出现了明显的错误，Swin-UNet [30]未能准确勾勒边界，而HiFormer-B [46]错误地将其他区域识别为胆囊。第二行表明，Swin-UNet、TransUNet [13]、HiFormer-B和UNet [9]在完全分割胃（橙色标签）方面均失败。第三行揭示，Swin-UNet和HiFormer-B错误地将大片其他器官区域标记为胰腺（黄色标签）。考虑到定量指标和视觉结果，作者提出的CSWin-UNet实现了对精细和复杂器官的准确分割，产生了更精确的分割结果，展示了在复杂背景下更强的鲁棒性，并且在边缘结构处理方面表现更佳。

Results on ACDC dataset

表2展示了作者提出的CSWin-UNet在ACDC数据集上的实验结果，并将其与其他先进方法进行了比较。图7表示了每个心脏结构平均DSC和DSC的错误条（95%置信区间）。在表中，RV代表右心室，MYO代表心肌，LV代表左心室。结果显示，提出的CSWin-UNet能更好地识别和分割这些器官，准确率达到91.40%，显示出良好的泛化能力和鲁棒性。

Results on skin lesion segmentation datasets

表3展示了实验结果，图8显示了在三个皮肤病变分割数据集上DSC、SE、SP和ACC的误差条（95%置信区间）。实验结果表明，在大多数评估指标上，所提出的CSWin-UNet方法优于其他方法。特别是，与Swin-UNet [30]相比，CSWin-UNet在大多数指标上取得了更好的性能，显示出满意的泛化能力。作者还将在图9中可视化的皮肤病变分割结果。与Swin-UNet [30]相比，作者的CSWin-UNet在保留分割目标的边缘和详细特征方面具有一定的优势。然而，在低对比度或遮挡的情况下，如图9(d)所示，分割产生了显著的错误。

Comparison of computational efficiency

神经网络模型设计的一个基本目标是尽可能减少参数数量和计算复杂度，同时保持其性能。这种减少对于在计算资源有限的设备上实现更高效的模型训练和部署至关重要。因此，在评估一个模型时，不仅要考虑其准确性和泛化能力，还要考虑其参数数量和计算复杂度。在这里，作者使用浮点运算次数（FLOPs）和参数数量（以百万计，M）来衡量计算复杂度。在Synapse数据集上的性能比较显示在表4中。结果表明，所提出的CSWin-UNet在最低复杂度条件下实现了出色的分割性能。

Ablation studies

在本文的这一部分，作者对CSWin-UNet在Synapse数据集上的性能进行了消融研究。具体来说，作者探讨了解码器中不同的上采样策略、跳跃连接的数量、不同的网络架构以及组合损失函数中不同超参数对性能的影响。

V-B1 Upsampling strategy

在编码器中，通过使用步长为2的卷积层进行下采样，相应地，在解码器中需要上采样以恢复特征图，从而保留更多信息。在本文中，作者引入了CARAFE层以实现上采样并增加特征通道数，该层使用输入特征本身的内容来指导上采样过程，从而更准确、高效地进行特征重组。为了验证CARAFE层的有效性，作者在Synapse数据集上进行了实验，比较了双线性插值、转置卷积以及CARAFE层在CSWin-UNet中的表现，如表5所示。采用CARAFE层进行上采样获得了最高的分割准确度。此外，与转置卷积相比，CARAFE引入的计算开销非常小。实验结果表明，结合了CARAFE层的CSWin-UNet能够达到最优性能。

V- B2 Skip connection

类似于UNet，作者也引入了跳跃连接以增强细粒度的分割细节，通过恢复低级空间信息。在CSWin-UNet中，跳跃连接位于1/4、1/8和1/16的分辨率尺度上。作者依次减少了1/16、1/8和1/4尺度上的跳跃连接，将跳跃连接的数量设置为3、2、1和0，以探索不同数量的跳跃连接对分割精度的影响。如表6所示，分割精度通常随着跳跃连接数量的增加而提高。值得注意的是，相比于大器官（如肝脏、脾脏和胃），CSWin-UNet在小器官（如主动脉、胆囊、肾脏和胰腺）的分割精度上有更显著的提升。因此，为了达到最佳性能，作者将跳跃连接的数量设置为3。

V-B 3 Network architecture

层数过少的神经网络可能导致特征表示丰富度和准确性不足，难以理解图像上下文，从而造成分割性能不佳。相反，过多的层数会增加计算负担，使网络难以收敛。因此，在设计网络架构时，在网络深度和模型性能之间取得了平衡，使得模型能够在有限的计算资源下实现高分割精度。此外，为防止因层数过多而导致的不收敛问题，在最后阶段将模块数量设置为1。通过比较其他基于Transformer的医学图像分割方法的参数数量和计算成本，作者将四个阶段的模块数量设置为、和，编码器和解码器模块对称排列。如表7所示，具有模块设置的网络架构实现了最佳性能。

Iv-C 4 Combined loss function

作者探讨了组合损失函数的不同超参数对分割准确性的影响。在这里,作者将方程式10中的  和  分别设置为 、、、 和  。作者在Synapse数据集上进行了一项消融研究, 实验结果表明, 使用组合损失函数比单独使用Dice损失或交叉摘损失能获得更高的分割准确度，尤其是在仅使用Dice损失而不结合交叉摘损失的情况下。表8显示，当  和  设置为  时, 分割性能达到最优。

Discussions

作者在三个不同类型的医学图像分割数据集上的全面实验结果证明了作者提出的CSwin-UNet在多种模态的医学图像中比其他最先进的医学图像分割方法更为先进和适用。这些数据集包括CT、MRI和皮肤病变图像。

然而，作者的方法在一些具有挑战性的情况下表现出一些不足，例如在Synapse数据集中，胆囊和肾脏区域不同样本的分割精度存在显著差异，如图6所示。根据图9的可视化结果，在处理皮肤病变分割数据集中的低对比度图像时，分割性能还有很大的提升空间。

此外，模型的预训练对其性能产生了显著影响。在本次研究中，作者使用在ImageNet [48]上由CSwin Transformer [26]训练的权重来初始化编码器和解码器。因此，探索端到端的医学图像分割方法是作者在未来努力追求的研究课题之一。

V Conclusion

在本论文中，作者通过引入一种高效且轻量级的方法——CSWin-UNet，解决了先前基于Transformer的医疗图像分割模型在感受野交互方面的局限性。利用来自CSWin Transformer的CSWin自注意力机制，作者将这项技术融入了一种U形编码器-解码器架构中。

这种融合不仅降低了计算成本，还提升了感受野的交互作用和分割精度。在解码器中，采用了CARAFE层进行上采样，这有助于保留复杂的细节，并提高器官边缘分割的精确度。

在三个大规模医疗图像分割数据集上的全面评估表明，CSWin-UNet在分割精度上超越了其他最先进的方法。此外，CSWin-UNet在模型参数和计算负载方面更为轻量，这表明在复杂的医疗图像分割任务中，深度学习应用具有进一步的优化和增强的巨大潜力。

原创作者: whaosoft 转载于: https://blog.51cto.com/whaosoft/11603901