UNet在医学图像分割中的应用｜文献速递·24-08-22

小罗碎碎念

昨天分析了一篇关于Vit在计算病理学中的综述，在读这篇文章的时候，UNet的变体反复出现，再加上自己因为这段时间身体不舒服，做了一个CT，突然对影像组学感兴趣了，然后就想借着这期推文分析一个很有趣的东西——UNet在医学图像分割中的应用。

UNet最初发表于2015年，具体的细节我不介绍了，因为公式敲起来很麻烦，你们也没耐心看。但是无论是病理组学还是影像组学，其实都是可以涉及到UNet的。

今天挑的这三篇文献，属于UNet的不同变种，并且都有配套的开源代码，所以我才会集中在一期推文中介绍，争取每篇文章都复现一下，分别用影像和病理的数据测试一下。

---

交流群

欢迎大家来到【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前群内总成员已达500+，大部分来自全国百强医院/前50院校。此外，小罗也借助自媒体，与华盛顿大学、北大、北航、华科、北科、南方医等院校的课题组建立了联系，欢迎更多的人加入小罗的队伍！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

---

一、TransAttUnet：一种用于医学图像分割的多级注意力引导的Transformer增强U-Net

一作&通讯

角色	姓名	单位
第一作者	Bingzhi Chen	哈尔滨工业大学深圳医学生物特征感知与分析工程实验室，深圳，中国
		南洋理工大学计算机科学与工程学院，新加坡
通讯作者	Yishu Liu	哈尔滨工业大学深圳医学生物特征感知与分析工程实验室，深圳，中国
	Zheng Zhang	同上
	Guangming Lu	同上
	Adams Wai Kin Kong	南洋理工大学计算机科学与工程学院，新加坡

---

文献概述

这篇文章提出了一种结合了Transformer和多级注意力机制的新型U-Net网络架构TransAttUnet，用于提高医学图像分割的精度和质量。

文章指出，传统的卷积操作存在固有偏差，主要关注邻近像素形成的局部视觉线索，但未能充分建模长期上下文依赖关系。TransAttUnet通过自注意力（Self-Attention）模块有效地学习编码器特征之间的非局部交互，并通过多尺度跳跃连接加强多尺度上下文信息的表示能力，以生成区分性特征。

文章的主要贡献包括：

• 提出了一种新的Transformer-Attention基础的U形框架，将多级引导注意力和多尺度跳跃连接的优势整合到标准U-Net中，以提高医学图像分割的性能。
• TransAttUnet通过Transformer自注意力和全局空间注意力的合作，能够建模上下文语义信息和全局空间关系，保证特征表示和语义嵌入的一致性。
• 与一步级联连接相比，提出的残差或密集的逐步增长连接不仅可以减少噪声干扰，还可以减轻由于大规模上采样造成的细节丢失。
• 在五个医学图像数据集上的广泛实验结果表明，与最先进的基线相比，TransAttUnet在自动医学图像分割方面具有优越性和通用性。

文章还进行了大量实验，验证了TransAttUnet在不同成像方式的多个医学图像分割数据集上的性能，并与现有的最先进方法进行了比较。此外，还包括了相关工作的综述、TransAttUnet方法的详细介绍、实验设置、结果和可视化分析，以及未来的研究方向。

---

重点关注

Fig. 5 展示了在 2018 Data Science Bowl 数据集 (a) 和 GLAS 数据集 (b) 上，所提出的 TransAttUnet 与其他最先进基线（state-of-the-art baselines）在定量结果上的比较。

图表中，为了更好地可视化肺部分割结果与真实标注（ground truth）之间的差异，关键区域用适当的框进行了突出显示。

分析这个图表，我们可以得出以下几点观察结果：

1. 性能对比：TransAttUnet 的定量结果（如 Dice 系数、IoU、ACC、REC 和 PRE）与其他基线方法相比较，展示出 TransAttUnet 在图像分割任务上的性能优势。

2. 关键区域突出：通过在图表中用框突出显示关键区域，读者可以直观地看到不同方法在分割这些区域时的效果，这有助于理解各个方法在处理复杂或具有挑战性的特征时的能力。

3. 分割细节：在 GLAS 数据集的腺体分割任务中，TransAttUnet 能够更清晰地区分腺体与周围组织，这表明其在细节捕捉上的有效性。

4. 分割准确性：在 2018 Data Science Bowl 数据集中，TransAttUnet 生成的分割预测能够更准确地捕捉到细胞核的边界，这反映了其在处理具有复杂纹理和形状的医学图像时的准确性。

5. 方法适用性：通过在不同数据集上的表现，TransAttUnet 证明了其在多种医学图像分割场景下的适用性和鲁棒性。

6. 可视化效果：图表的可视化设计有助于读者快速识别和比较不同方法的分割效果，从而更深入地理解 TransAttUnet 的性能特点。

总体而言，Fig. 5 通过定量结果和关键区域的可视化，有效地展示了 TransAttUnet 在医学图像分割任务上相比其他现有方法的优势。

---

二、TransUNet：结合Transformer和U-Net的医学图像分割新框架

一作&通讯

作者序号	作者姓名	单位（英文）	单位（中文）
第一作者	Jieyu Chen	Johns Hopkins University	约翰霍普金斯大学
通讯作者	Alan L. Yuille	Johns Hopkins University	约翰霍普金斯大学

---

文献概述

这篇文章介绍了一种新的医学图像分割框架，名为TransUNet。该框架结合了Transformer和U-Net的优势，用于提高医学图像分割的精确度。

1. 背景：医学图像分割对于疾病诊断和治疗计划至关重要。U-Net因其细节保留能力而成为医学图像分割的事实标准，但其卷积操作的局部性限制了其对长距离依赖关系的建模能力。Transformers因其全局自注意力机制在序列预测任务中表现出色，但直接应用于图像分割时可能会丢失低级细节。
2. TransUNet框架：提出了TransUNet，它结合了Transformer的全局上下文编码能力和U-Net的高分辨率特征映射，以实现精确的定位。Transformer将CNN特征图的图像块序列化并编码，而解码器将编码的特征上采样并与CNN的高分辨率特征映射结合。
3. 方法：介绍了如何使用Transformer作为编码器，将图像分解为一系列平铺的2D块，并通过多头自注意力（MSA）和多层感知器（MLP）块进行编码。TransUNet采用了混合CNN-Transformer架构作为编码器，并引入了级联上采样器（CUP）来实现精确的分割。
4. 实验与讨论：在多器官分割和心脏分割等多个医学应用中，TransUNet与其他竞争方法相比表现出优越的性能。实验使用了Synapse多器官分割数据集和ACDC心脏分割挑战数据集进行评估，并提供了详细的实验设置和结果比较。
5. 分析研究：进行了多种消融研究，包括不同数量的跳跃连接、输入分辨率、序列长度和块大小，以及模型尺寸对性能的影响。
6. 可视化：提供了不同方法的可视化比较，展示了TransUNet在预测更少的假阳性和保持更精细信息方面的优势。
7. 结论：TransUNet作为一种新的医学图像分割框架，通过结合Transformer的全局上下文编码能力和U-Net的低级CNN特征，实现了优于现有方法的性能。

文章还提供了代码和模型的GitHub链接，供有兴趣的读者参考。

---

重点关注

图3提供了不同医学图像分割方法的可视化定性比较。

从左到右分别是：(a) 真实标注（Ground Truth），(b) TransUNet方法的结果，© R50-ViT-CUP方法的结果，(d) R50-AttnUNet方法的结果，(e) R50-U-Net方法的结果。以下是对这些结果的分析：

1. 真实标注（Ground Truth）：这是分割的参考标准，展示了器官的准确边界和形状。

2. TransUNet：该方法的结果与真实标注非常接近，表明TransUNet能够很好地捕捉到器官的细节，同时预测出的分割边界较为准确，假阳性（即错误地将背景识别为器官的部分）较少。

3. R50-ViT-CUP：虽然该方法的结果也相对准确，但与TransUNet相比，可能在某些区域的边界和形状上略显粗糙，这表明R50-ViT-CUP在捕捉细节方面可能不如TransUNet。

4. R50-AttnUNet：该方法可能出现了过分割或欠分割的问题。例如，在某些情况下，可能会将背景错误地识别为器官的一部分（过分割），或者未能完全捕捉到器官的实际边界（欠分割）。

5. R50-U-Net：作为传统的基于CNN的方法，R50-U-Net的结果可能在某些情况下也会出现类似R50-AttnUNet的问题，尤其是在器官边界的精细度上。

文章中提到，TransUNet方法在预测时保留了更精细的信息，并且预测出的假阳性较少。这意味着TransUNet在处理医学图像分割时，能够更好地平衡全局上下文信息和局部细节，从而提供更准确的分割结果。这种优势可能源于TransUNet结合了Transformer的全局自注意力机制和U-Net的精确定位能力。

---

三、Swin-Unet：一种用于医学图像分割的新型纯Transformer架构

一作&通讯

角色	姓名	单位名称	单位所在地
第一作者	曹胡	慕尼黑工业大学	德国慕尼黑
通讯作者	姜东升	复旦大学	中国上海
通讯作者	张晓鹏	华为技术有限公司	中国上海
通讯作者	田启	华为技术有限公司	中国上海

---

文献概述

这篇文章介绍了一种名为Swin-Unet的新型医学图像分割网络，它是基于纯Transformer架构设计的，类似于U-Net的结构。

Swin-Unet利用了Transformer的优势来捕捉全局和长距离的语义信息交互，这在传统基于卷积神经网络（CNN）的方法中较难实现。

研究背景：

• 卷积神经网络（CNN）在医学图像分析中取得了显著成就，尤其是在使用U形结构和跳跃连接的深度神经网络中。
• 然而，CNN由于卷积操作的局部性，难以学习全局和长距离的语义信息交互。

Swin-Unet网络的提出：

• 文章提出了Swin-Unet，这是一个基于Transformer的U形编码器-解码器架构，用于医学图像分割。
• 该网络使用分层的Swin Transformer和移位窗口作为编码器来提取上下文特征，并设计了一个具有补丁扩展层的对称Swin Transformer解码器来进行上采样操作，以恢复特征图的空间分辨率。

主要贡献：

1. 构建了一个具有跳跃连接的对称编码器-解码器架构。
2. 开发了一个补丁扩展层，用于在不使用卷积或插值操作的情况下实现上采样和特征维度增加。
3. 实验表明，对于Transformer架构，跳跃连接同样有效，因此构建了一个纯Transformer的U形编码器-解码器架构，并命名为Swin-Unet。

相关工作：

• 早期的医学图像分割方法主要基于轮廓和传统机器学习算法。
• 随着深度CNN的发展，U-Net等方法被提出并广泛应用于医学图像分割。
• 近期的研究尝试将自注意力机制引入CNN以提高性能，并探索将CNN与Transformer结合以打破CNN在医学图像分割中的主导地位。

方法详解：

• Swin-Unet的架构包括编码器、瓶颈层、解码器和跳跃连接，所有这些都构建在Swin Transformer块上。
• 编码器将医学图像分割成不重叠的图像块，每个块被视为一个标记，并输入到基于Transformer的编码器中进行深度特征表示学习。
• 解码器通过补丁扩展层上采样提取的上下文特征，并与编码器的多尺度特征通过跳跃连接融合。

实验：

• 在多器官和心脏分割任务上进行了广泛的实验，结果表明Swin-Unet在分割精度和鲁棒性方面表现出色。
• 与基于全卷积或结合了Transformer和卷积的方法相比，纯Transformer的U形编码器-解码器网络表现更好。

结论：

• Swin-Unet作为一种新型的基于Transformer的U形编码器-解码器，用于医学图像分割，展现了出色的性能和泛化能力。

文章还提供了代码和训练模型的公开访问链接，以便其他研究人员使用和进一步研究。

---

重点关注

文章中的Fig. 3展示了不同方法在Synapse多器官CT数据集上的分割结果。

1. 可视化比较：该图展示了使用不同分割方法得到的器官分割的可视化对比。这些方法包括传统的U-Net、带有注意力机制的变体（如Att-UNet）、基于Transformer的方法（如ViT和TransUnet），以及本文提出的Swin-Unet。

2. 分割质量：图像展示了每种方法在分割不同器官（如主动脉、胆囊、左右肾脏、肝脏、胰腺和脾脏等）时的效果。通常，高质量的分割结果会显示出更清晰、更精确的器官边界。

3. 问题识别：某些基于CNN的方法可能会显示出过分割（over-segmentation）的问题，这是由于卷积操作的局部性导致的。过分割意味着网络错误地将一些不属于目标器官的区域也识别为器官的一部分。

4. Swin-Unet的优势：根据文档描述，Swin-Unet通过整合Transformer架构和U形结构，能够更好地学习全局和长距离的语义信息交互，从而可能在图中展示出更优的分割边缘和更少的过分割现象。

5. 性能指标：尽管DSC（Dice相似系数）是一个常用的性能指标，用来衡量分割结果与真实标签之间的相似度，但HD（Hausdorff距离）也被用来评估分割边缘的准确性。Swin-Unet在HD指标上可能表现出比其他方法更好的性能，意味着其分割结果的边缘更接近真实器官的边缘。

6. 泛化能力：通过在多器官CT数据集上的测试，Swin-Unet展现了良好的泛化能力，能够处理不同类型和形状的器官分割任务。

总结来说，Fig. 3可能通过视觉和定量的方式展示了Swin-Unet在多器官分割任务上相比其他方法的优势，特别是在边缘检测和整体分割精度方面。

---