Transformer+UNet到底是谁想出来的点子！用来创新真的太绝了！

聊一个医学图像分割领域的热点：Transformer+UNet。其实不仅仅是这领域，这种技术在需要处理大尺度图像、长程依赖、多模态数据的任务中都很关键，源于其结合了UNet的多尺度特征提取能力和Transformer的全局建模能力，因此应用场景相当广泛。

对应的，近年关于Transformer+UNet的研究越来越火热，论文数量持续增长（如CSWin-UNet、GS-TransUNet、TSUBF-Net等），可参考的优秀成果相当多。不过目前这方向在计算效率、多模态融合、轻量化设计、特定场景下的优化等方面依然还有改进空间，值得我们深入挖掘。

这边推荐对这方向感兴趣的论文er关注实时轻量化模型、多模态推理、不确定性建模等高潜力创新思路，还有与前沿技术的结合，需要参考的可无偿获取我整理好的Transformer+UNet15篇新论文（有代码），觉得有用记得点个赞支持一下~

全部论文+开源代码需要的同学看文末

GS-TransUNet: Integrated 2D Gaussian Splatting and Transformer UNet for Accurate Skin Lesion Analysis

方法：论文提出了一种名为GS-TransUNet的方法，将Transformer和UNet结合，通过2D高斯溅射技术生成精确分割掩码，同时实现皮肤病变的分类和分割任务，提升了诊断精度。

创新点：

• GS-TransUNet首次将2D高斯点渲染技术与Transformer UNet架构相结合，用于皮肤癌的分类和分割。

• 提出了一种统一的端到端双任务学习框架，将分类和分割任务紧密结合，通过任务间一致性和掩膜生成的可靠性增强任务相互依赖性。

Cross‐shaped windows transformer with self‐supervised pretraining for clinically significant prostate cancer detection in bi‐parametric MRI

方法：论文提出了一种基于Transformer和UNet的新型模型CSwin UNet，用于检测前列腺癌。它结合了CSwin Transformer编码器和CNN解码器，通过自监督学习和多任务损失函数进行预训练，显著提升了检测性能和模型泛化能力，优于现有的CNN和Transformer方法。

创新点：

• 提出CSwin UNet模型，结合Transformer和CNN，增强检测能力。

• 利用自监督学习和多任务损失函数，提升模型在少量标注数据下的性能。

• 在大规模数据集上验证，性能优于现有方法，且在外部数据上表现良好。

TSUBF-Net: Trans-spatial UNet-like network with Bi-direction fusion for segmentation of adenoid hypertrophy in CT

方法：论文提出了一种基于Transformer和UNet的3D医学图像分割框架TSUBF-Net，用于CT扫描中腺样体肥大的分割。该框架通过TSP模块增强空间特征感知，并通过BSCF模块融合上下采样特征，同时引入Sobel损失项优化分割结果的平滑度，显著提升了分割精度和平滑性。

创新点：

• 提出TSP模块，增强3D空间特征感知，捕捉腺样体肥大区域的模糊边界。

• 设计BSCF模块，融合上下采样特征，提升分割精度。

• 引入Sobel损失项，优化分割结果的平滑度。

AgileFormer: spatially agile transformer UNet for medical image segmentation

方法：论文提出了一种名为AgileFormer的医学图像分割模型，它是基于Transformer和UNet架构的结合，通过可变形的动态组件捕捉不同形状和大小的器官特征，分割效果更好。

创新点：

• 提出可变形的Patch嵌入，替代传统的固定大小Patch嵌入，更好地适应不同形状和大小的目标物体。

• 设计空间动态多头注意力机制，交替使用可变形注意力和邻域注意力，增强对目标物体的空间动态特征捕捉能力。

• 引入多尺度可变形位置编码，针对不规则采样网格进行编码，进一步提升模型对多尺度目标的分割性能。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏