论文泛读：从U-Net到Transformer： 深度模型在医学图像分割中的应用综述

从U-Net到Transformer：深度模型在医学图像分割中的应用综述

声明：本文章只用于学习，若有侵权请联系删除
引用论文：[1]张玮智,于谦,苏金善等.从U-Net到Transformer：深度模型在医学图像分割中的应用综述[J/OL].计算机应用:1-23[2023-11-02].http://kns.cnki.net/kcms/detail/51.1307.tp.20231026.1648.002.html.

论文摘要

精准分割医学图像中的病灶对医生探寻病因和制定诊疗方案起关键作用，计算机视觉技术的发展促使深度学习在医学图像分割领域衍生出多种模型架构，U-Net架构以其巧妙的跳跃连接、易于优化的模块设计成为这一领域的基准模型。为帮助本领域学者了解U型网络的发展历程及研究现状，该文以问题为导向对近七年U型网络改进工作进行综述，首先，从改进结构位置的角度对U-Net及其各项改进模型进行叙述，探讨各工作的研究目的和创新设计及不足之处。其次，对Transformer与U型网络的结合方式进行分析，从中获取改进工作的研究动向。最后，在Synapse和ACDC数据集上进行对比实验，通过实验分析和可视化结果表明，Transformer方法在分割精度方面有显著优势，特别是混合网络子块的结合方式，在确保模型性能的同时兼顾效率，表明该类工作有着广阔的发展前景和研究价值。

主要学习内容

通过泛读该篇论文，主要学习U-Net结构及原理、U-Net的部分相关改进工作这两个模块。

U-Net结构及原理

U-Net神经网络模型由编码器-解码器结构组成，如图1所示。编码器部分使用CNN架构作为收缩路径来提取图像特征、降低分辨率，收缩路径共有 4 个子块，每个子块由两次连续的3×3卷积、ReLU激活函数和用于下采样的最大池化层组成。两次 3×3 卷积操作能有效降低神经网络复杂度，并保持原有分割精度不变。每次下采样步骤中，特征通道数量增加一倍。解码器部分由含有上采样操作的卷积块构成扩展路径来修复图像细节信息、定位分割对象边界，并逐步恢复特征图的空间分辨率。在扩展路径中，子块包含两次连续的3×3卷积、ReLU激活函数和上采样反卷积层。上采样将特征图扩大为原始尺寸的两倍，并修复丢失的细节信息。U-Net具有独特的拼接功能，能将同层中下采样过程捕获的低级细节特征进行剪裁，拼接至上采样过程提取的高级语义特征中。最后输出的分割结果既结合低分辨率信息提供的物体类别识别依据又结合高分辨率特征提供的精准定位分割依据，改善上采样信息不足的问题，实现精准分割。

图1 U-Net结构

U-Net部分相关改进工作

3D结构

临床医学数据集包含大量三维图像，比二维图像包含更多的空间信息。2D U-Net 以逐片的方式对大体积进行注释，过程繁琐且相邻切片显示信息几乎相同，使得处理三维图像效率低下。当2D卷积以切片方式处理三维图像时，网络无法捕获和学习深度上下文信息。利用 3D 卷积的网络架构可以消除这一缺陷，充分学习图像中的空间信息。3D网络对目标重建可以提供额外的体素信息，充分利用空间信息提升 U-Net对复杂 3D结构的特征提取能力。

残差思想

通过在浅层网络与深层网络之间建立身份映射，将浅层特征映射至深层以消除冗余层的训练误差，解决深度神经网络中因网络层堆叠而出现的梯度消失和精度下降问题，实现深层网络架构。残差模块应用于 U-Net 可确保加深网络的同时捕获深层语义信息，利用残差块作为 U-Net 主干，不仅可以构建更深层的网络，而且能够加速模型收敛。

密集思想

密集思想是指在神经网络中，先前层与后续层相连接共同作为下一层的输入，通过最大化信息流以消除梯度消失，并加强特征传播、鼓励特征重用。不同于残差网络在浅层与深层之间建立“短路连接”，密集思想在参数量和计算量方面有着进一步优势，意味着不必学习冗余特征，有助于训练深层网络。密集思想与 U-Net 相结合可以从图像中提取不同尺寸的上下文信息，进一步提升网络性能。

多机制组合

通过多机制组合，多方法和模块的结合可以合理地利用各自优势提升模型整体性能。如，残差连接可以帮助网络解决梯度消失现象，实现深层神经网络；密集思想提供最大化信息流、鼓励特征重用；Inception模块能够有效帮助网络控制参数量、降低计算复杂度；注意力机制使模型聚焦于重点区域，抑制无关噪声。这些方法的结合能够在提升U-Net性能同时保证分割效率。

多网络模型

多网络模型改进工作从整体结构出发，利用多个 U-Net进行堆叠操作，分步提取粗、细特征，以便获取图像更多尺度信息。简单的堆叠 U-Net 只会增加网络复杂性和参数量，不添加改进方法难以有效提升网络性能。比如，在前列腺分割任务中，Chen 等提出 Bridged U-Net，如图 2 所示，与寻常堆叠方式不同，它桥接两个网络，分步提取腺体内部的粗略特征，加法融合跳跃连接特征不会造成数据冗余。级联网络可缓解堆叠造成的模型复杂度增加，同时获得大量训练数据，降低训练成本。网络性能优于普通堆叠UNet，但对比多方法混合工作分割性能有所欠缺。

图2 Bridged U-Net结构

总结

通过对该篇论文的泛读，我大致了解了U-Net神经网络的结构构成及原理，以前对其的理解还停留在表面，而现在则更加深入，相信这能够让我以后更加合理地运用这个语义分割模型。除此之外，我还了解到了部分U-Net网络模型的改进方法，给我提供了很多方法和灵感，从中学习到了有关神经网络改进的思想，争取以后能够把这种不断改进的思想和方法运用要到项目中去。