《从U-Net到Transformer：深度模型在医学图像分割中的应用综述》论文阅读

网络首发地址：https://link.cnki.net/urlid/51.1307.tp.20231026.1648.002

摘要：

        U-Net以卷积神经网络（CNN）为主干，其易于优化促使在医学图像分割领域的发展，

但只擅长获取局部特征，缺乏长期相关性解释。（就是说，只能很好抓住局部关系，不能很好把握全局关系，就像翻译时只是单词的堆砌，而不是顾及前后让整句话更顺畅合理）

        本文主要对近七年U型网络改进工作，Transformer与U型网络的结合，在Synapse和ACDC数据集上进行对比实验，最后证明transformer在图像分割上更有优势。

引言：

医学图像分割技术在CT, MRI,X-Ray，超声等广泛应用。传统技术主要有....，不能解决现代问题。为了解决这一问题，且更好治疗， 诞生了CAD系统，其中重要的就是医学图像处理。

2015提出U-Net奠定了图像分割的发展方向——FCN改进后，拥有完整encode-decode结构，和用于融合高低分辨率的跳跃连接。

本文主要内容（贡献）：阐述了从U-Net到Transformer发展过程，以及各个方法论文的研究方法优劣，对不同研究目的提出参考性建议。

基于U-Net的相关改进

1. 从2D扩展到3D的U-Net

2. 残差思想：

milletar对编码器子块引入了残差连接，使用四次下采样操作，有助于减少网络在训练期间占用的的内存，且捕获深层特征。同时其通过非线性转换实现了数据增强。

3.密集思想

黄高博士在DenseNet［26］中提出，在神经网络 中，先前层与后续层相连接共同作为下一层的输入，通过最大 化信息流以消除梯度消失，并加强特征传播、鼓励特征重用。

可以从图像中提取不同尺寸的上下文信息，进一步提升网络 性能。

4.多机制组合

5.多网络模型

即网络与网络两个巧妙连接，如两个U-Net连接起来。

6.编解码器分支

7.基于transformer的变化

Transformer解决了局部性 的归纳偏差，使其更有能力建立非局部的相互关系。（其有位置编码，自注意力机制，能够掌控全局上下文关系。）

名词学习：

数据增强: 就是创建原数据的新变体然后进行训练的过程叫数据增强。创建新变体过程如旋转，剪切，擦除，噪点引入，遮挡，弹性变形，缩放等。  使得模型泛化能力更强，避免过拟合

ReLU 激活函数的定义是：ReLU(x)=max⁡(0,x)ReLU(x)=max(0,x)

额外感受（收获）：

算法不仅要考虑合理性，而且还要看训练数据集，是大器官，还是视网膜等微小细节的数据集。

GoogLeNet［22］中的Inception模块将全连接或普通卷积结 构转化为稀疏连接，以解决大量参数导致的过拟合问题［23］

 

怎么得出模型的优势？（抓住框架中每个模块的各自特征，进行互补或则增强）

文中提到TransUNet，二者结合既保留高分 辨率位置信息又继承低分辨率细节信息。这怎么得出的呢，

就在于CNN特别擅长捕捉局部特征和纹理信息，这些通常在图像的高分辨率表示中更容易被识别。而transformer通过自注意力机制能够捕捉长距离依赖关系，它不受限于局部区域，能够在整个图像范围内建立特征之间的联系，这有助于提取低分辨率的全局上下文信息。

做数据增强的时候可以用他的包，参考视频链接

开始跑实验的时候，最好把维度也打印出来，一方面便于理解，另一方面便于调试。

参考：

https://zhuanlan.zhihu.com/p/574835363（类似综述）