U-Net Transformer：用于医学图像分割的自我和交叉注意力模块

最新推荐文章于 2024-09-02 08:23:36 发布
最新推荐文章于 2024-09-02 08:23:36 发布
阅读量6.7k 收藏 43
点赞数 4
分类专栏： 医学图像分割的Transformer 文章标签： transformer 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43921949/article/details/126890425
版权
本文提出了一种名为U-Transformer的网络结构，针对复杂和低对比度的医学图像分割问题。该网络结合了Transformer的self-attention和Crossattention，增强了UNet在捕捉长程依赖和空间信息的能力。自注意力机制用于全局交互，而交叉注意力则过滤非语义特征，辅助恢复空间细节。实验表明，U-Transformer在处理复杂器官和小器官分割时表现出色。
摘要由CSDN通过智能技术生成

Abstract-摘要

对于复杂和低对比度的解剖结构，医学图像分割仍然特别具有挑战性。本文提出的一种U-Transformer网络，它将Transformer中的self-attention和Cross attention融合进了UNet，这样克服了UNet无法建模长程关系和空间依赖的缺点，从而提升对关键上下文的分割。本文集合了两种注意力机制：自注意力机制建立编码器之间的全局交互，交叉注意力被添加到跳跃连接当中。通过过滤非语义特征在UNet Decoder中恢复空间信息。

Introduction

尽管FCN，Unet系列都取得了不错的性能，但是仍然具有局限性，这种网络结构处理有局部二义性或者低对比度器官时表现不佳。

本文提出的U-Transformer，借助Transformer的特性来帮助建模长程依赖关系和空间依赖关系，U-Transformer保留了原始的U型架构提取归纳偏置，此外引入了两种注意力机制来改善网络的决策能力。

首先。self-attention在编码器的结尾用来显式的建模语义之间的全局交互关系，其次在跳跃连接中加入了Cross attention从而过滤到非语义特征，从而更好的协助U-Net恢复空间信息。

The U-Transformer结构

U型网络的编码器结构可以有效的提取全局上下文信息进行复杂的医学图像分割任务，本文的U-Transformer将多头Transformer中的模块引入UNet，通过两种注意力机制（多头自注意力和多头交叉注意力）来提取长程关系和空间依赖性。其网络结构如下图：

</

最低0.47元/天 解锁文章
不想敲代码的小杨
关注
专栏目录
[Transformer]U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
qq_37151108的博客
10-27 7794
UNet Transformer:UNet结合自注意力和交叉注意力用于医学图像分割AbstractSection I IntroductionSection II U-Transformer NetworkSection III ExperimentsSection IV Conclusion Paper Abstract 对于一些复杂的、低对比度的组织做医学图像分割十分具有挑战性。本文提出一种U-Transformer网络，将Transformer中的self-attention和cross attent
探索U-ViT：新一代视觉Transformer的魅力
gitblog_00066的博客
04-15 518
探索U-ViT：新一代视觉Transformer的魅力 U-ViT项目地址:https://gitcode.com/gh_mirrors/uv/U-ViT 在深度学习领域，Transformer模型以其并行计算的优势和强大的序列建模能力，已经逐渐成为自然语言处理任务的新宠。而现在，这一趋势正逐步蔓延到计算机视觉领域。是一个创新的项目，它将Transformer的精髓引入到了图像识别中，为CV界带...
医学图像分割，Transformer+UNet的14种融合方法
m0_73122726的博客
08-07 941
在此框架内，Cross Transformer 模块采用可扩展采样来计算两种模态之间的结构关系，从而重塑一种模态的结构信息，以与 Swin Transformer 同一局部窗口内两种模态的相应结构保持一致。在编码器中，输入的MRI扫描X∈RC×H×W×D，具有C个通道(模态)，H×W的空间分辨率和D个深度维度(切片)，首先通过基于3D CNN的编码器生成局部特征图，捕获空间和深度信息。的融合方式，恰恰能充分发挥Transformer和UNet在医学图像分割方面的优势，弥补各自不足，产生显著的效果。
Transformer-Unet:使用变压器编码器的Unet实现
03-05
变压器-Unet 使用变压器编码器的Unet实现
UNet-Transformer
whaosoft143ai的博客
11-08 970
例如，首个完全基于自注意力的视觉Transformer（ViTs）用于图像识别在ViT中首次亮相，并在使用2D图像块与位置嵌入作为输入序列，在广泛的外部数据集上进行了预训练后，在ImageNet上取得了竞争性的成绩。在本节中，作者详细介绍了用于医学图像分割的提出的模型。作为各种图像分割模型的重要子集，卷积神经网络（CNN）已经在许多医学图像分割任务中表现出极高的效果和巨大的潜力，尤其是UNet，一种完全卷积网络，由对称的编码器和解码器结构组成，具有跳跃连接，以从编码器路径传递特征到解码器路径。whaosof
（脑肿瘤分割笔记：二十六）用于医学图像分割的多尺度自引导注意力
weixin_43921949的博客
09-08 2395
用于医学图像分割的多尺度引导注意力
[Transformer]Transformer-Unet: Raw Image Processing with Unet
qq_37151108的博客
10-24 4612
Transformer-Unet: Raw Image Processing with UnetAbstractSection I IntroductionSection II Related WorkSection III MethodSection IV ImplementationSection VI
 Conclusion Unet) Abstract 医学图像分割任务在医学图像分析领域十分重要，精确的分割结果可以帮助医生进行诊断，提升患者就诊体验。UNet是最被广泛采用的用于医学图像分割的框架，因
U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
zjiafbaodaozmj的博客
09-06 1468
论文：https://arxiv.org/abs/2103.06104 主框架还是U-net，大体方向上改变了两个部分 encoder 和 skip encoder：U-net的encoder是基于CNN网络经过卷积和pooling不断去降低分辨率，扩大感受野，将信息从分辨率转换到通道上，提取更高级的encoder feature map. 本文在提取encoder feature map之前，增加了self attention利用特征之间的全局作用去获得contextual information.(本质
HiFormer：基于CNN和Transformer的医学图像分割方法
6202HiFormer：用于医学图像分割的Moein Heidari*，1Amirhossein Kazerouni*，1 Milad Soltany*，1 RezaAzad2 Ehsan Khodapanah Aghdam3Julien Cohen-Adad4 DoritMerhof&dagger;，5，61伊朗科技大学电气工程学院，伊朗...
T-AutoML：自动病变分割的深度学习算法
Roth Xu NVIDIA摘要医学图像中的病变分割一直是临床研究的重要课题。研究人员已经提出了各种检测和分割算法来解决这个任务。最近，基于深度学习的方法相对于传统方法显著提高了性能。然而，大多数最先进的深度学习...
（参考写法）Transformer-Based Visual Segmentation:A Survey
sinat_41942180的博客
11-04 322
视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用，如自动驾驶、图像编辑、机器人感知和医学分析。（视觉分割定义+应用举例）在过去的十年里，基于深度学习的方法在这个领域取得了显著的进展。（之前是基于什么发展的）最近，Transformer成为一种基于自注意力机制的神经网络，最初设计用于自然语言处理，在各种视觉处理任务中明显超越了以往的卷积或循环方法。（提出本文要用的方法Transformer）
全卷积变压器：一种新的用于医学图像分割的模型，在多个数据集中表现优于现有变压器架构，无需预训练
36600全卷积变压器用于医学图像分割0Athanasios Tragakis 1 � Chaitanya Kaul 2 � Roderick Murray-Smith 2 Dirk Husmeier 101 数学和统计学，英国格拉斯哥大学，G12 8QW 2计算机科学学院，英国...
U-Net结构改进：双交叉注意力模块（DCA）
记录
05-07 1万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
【动手深度学习-笔记】注意力机制（四）自注意力、交叉注意力和位置编码
热门推荐
一个学习困难症患者的破博客
10-17 2万+
像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输出是一样的。词元组成的序列映射到另一个长度相等的序列，其中的每个输入词元或输出词元都由。
基于注意力机制的图像语义分割算法研究与优化
chenmuchen_的博客
02-02 651
综上所述，本文介绍了一种基于注意力机制的图像语义分割算法，并探讨了优化该算法的方法。基于注意力机制的图像语义分割算法是一种利用注意力机制对图像进行分割的方法。具体来说，该算法将输入的图像通过卷积操作转换为特征图，然后在每个特征点上生成一个注意力向量，用于指导下一步的特征提取和分类。本文将介绍一种基于注意力机制的图像语义分割算法，并探讨优化该算法的方法，以提高分割精度和运行速度。2.1增加注意力模块的深度：注意力模块的深度越深，网络就能够更准确地关注到与分割任务相关的区域，因此可以提高分割精度。
U-Net Transformer 项目教程
最新发布
gitblog_00590的博客
09-02 250
U-Net Transformer 项目教程 U-Net-Transformer项目地址:https://gitcode.com/gh_mirrors/un/U-Net-Transformer 项目介绍 U-Net Transformer 是一个结合了 U-Net 架构和 Transformer 自注意力机制的深度学习模型，专门用于医学图像分割。该项目通过融合 U-Net 的局部细节提取能力和 ...
性能再升级！UNet+注意力机制，新SOTA分割准确率高达99%
学姐带你玩AI的博客
04-15 3608
具体来说，通过将注意力模块集成到UNet的架构中，动态地重新分配网络的焦点，让其更集中在图像中对于分割任务关键的部分。这样UNet可以更有效地利用其跳跃连接特性，以精细的局部化信息来提升分割精度。这种策略可以帮助UNet更精确地界定目标边界，。同时引导网络关注更有信息量的局部区域，。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值