Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

已于 2022-10-09 16:42:34 修改
阅读量7.5k 收藏 18
点赞数 1
分类专栏： 医学图像分割的Transformer 文章标签： 深度学习 计算机视觉 人工智能
于 2022-10-09 16:42:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43921949/article/details/127226310
版权

摘要

卷积神经网络因为其卷积核的固有属性，其在远程建模方面存在着较大的问题。这可能导致对可变大小的肿瘤进行分割时存在不足。另一方面，Transformer在多个领域在捕获远程依赖信息方面表现出了出色的能力。

本文提出了一个新的分割模型,称为Swin UNETR，具体来说，3D脑肿瘤语义分割被重新定义为一个序列到序列的预测问题，其中多模态输入数据被投影到一个1D嵌入序列当中，并用作分层Swin Transformer的输入作为编码器。Swin Transformer编码器利用移位窗口计算自注意力，以5种不同分辨率提取特征，并通过跳跃连接在每个分辨率上连接到基于FCNN的解码器。

在本文中提出的网络称为Swin UNETR结构。它利用一个带有Swin Transformer的U型网络作为编码器，并通过跳跃连接将其以不同分辨率连接到基于CNN的编器

Swin UNETR网络结构

网络结构如下图所示：

编码器

模型的输入X\epsilon R^{H*W*D*S}是一个分辨率为（H',W',D'）尺寸为H'*W'*D'*S的Token。首先利用一个个Patch创建一个尺寸为

最低0.47元/天 解锁文章
基于 MONAI 的 3D 图像分割任务2（Brain Tumour 和 SwinUNETR 训练）
钱多多先森
11-18 441
一个训练和评估的案例，包括了训练全部代码，可以直接参考
医疗影像分割 | 使用 Swin UNETR 训练自己的数据集（3D医疗影像分割教程）
最新发布
LiRongLu_的博客
02-11 753
在Github上下载代码，然后进入SWINUNETR，选择第三个文件夹的内容进行操作，前两个是针对两个数据集（这些文件包含了数据集的路径和标签信息。示例 JSON 格式（例如。首先，写一个自己数据集的json文件，你需要为不同的数据集准备 JSON 文件（例如。点击这个link就可以下载了。现在一切准备就绪，开始训练！
3D UNet和Swin-UNETR
m0_57621770的博客
03-29 1837
3D UNet和Swin-UNETR都是用于医学图像分析的深度学习网络，它们对三维（3D）数据进行特征提取和分割。
Swin UNetR：把 UNet 和 Swin Transformer 结合
Debroon
12-13 8527
这个层的作用是将Token的数量减少，实现2倍的下采样，同时将特征维度增加到原始维度的2倍。通过这个操作，特征的分辨率增加了2倍，而特征的维度减少到输入维度的1/4。训练过程中，将输入切割为多个小的体素块，并对每个体素块进行两次不同的数据增强操作，然后将它们分别输入到网络的编码器中进行处理，并计算自监督损失。编码器和解码器之间的连接方式。通过使用Patch expanding layer，解码器能够逐渐恢复图像的分辨率，并减少特征的维度，以提供更多的细节和精度，并为后续的特征融合和预测做准备。
【SwinUNETR】《Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI...》译读笔记
墨门
09-22 1404
脑肿瘤的语义分割是涉及多种MRI成像模态的基本医学图像分析任务，其可以帮助临床医生诊断患者并连续研究恶性实体的进展。近年来，全卷积神经网络（FCNNs）方法已成为三维医学图像分割的事实基准。流行的“U形”网络架构已在不同的2D和3D语义分割任务以及多种成像模态上实现了最先进的性能基准。然而，由于FCNN中卷积层的核尺寸有限，其对长距离信息的建模性能并不理想，这会导致其在可变尺寸肿瘤分割中的不足。
[论文笔记] Swin UNETR 论文笔记: MRI 图像脑肿瘤语义分割
yusijinfs的博客
11-21 4266
Swin UNETR 论文笔记: MRI 图像脑肿瘤语义分割
SwinUNETR学习笔记
墨门
09-23 933
python test.py –json_list=‘./jsons/brats21_folds.json’ –data_dir=/brats2021/ –feature_size=48 –infer_overlap=0.6 –pretrained_model_name= –pretrained_dir=
[深度学习论文笔记]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
热门推荐
Slientsake的博客
05-26 5万+
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation Swin-Unet：用于医学图像分割的类Unet纯transformer 论文：https://arxiv.org/abs/2105.05537 代码：https://github.com/HuCaoFighting/Swin-Unet
遥感图像语义分割论文（2）：GLOTS---Rethinking Transformers for Semantic Segmentation of Remote Sensing Images
weixin_47973534的博客
03-25 1876
论文提出了一种用于遥感图像语义分割的全局-局部Transformer分割器(GLOTS：global-local transformer segmentor)框架，通过使用Transformer进行编码和解码来获得一致的特征表示，弥补了现有模型存在的：①将Transformer编码器与基于CNN的解码器相结合，导致特征表示不一致；②全局和局部上下文信息利用策略的有效性不足 的问题。
SwinMM: Masked Multi-view with Swin Transformers for 3D Medical Image Segmentation
qq_45745941的博客
05-08 616
最近，在大规模视觉Transformer方面取得的进展显著改进了医学图像分割的预训练模型。然而，这些方法面临着一个明显的挑战，即获取大量的预训练数据，特别是在医学领域。为了解决这一限制，研究人员提出了一种新的多视图方法，名为Masked Multiview with Swin Transformers（SwinMM），用于实现准确和高效的自监督医学图像分析。该策略利用了多视图信息的潜力，包括两个主要组成部分。
Swin-Unet-Transformer网络-用于语义分割-二分类
03-21
1.增加了数据加载部分，二分类loss 2.必要的中文注释 3.附带了自己的数据集 4.有问题随时联系
SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers(SegFormer)翻译
wang6562009的专栏
08-05 1285
我们提出了SegFormer，这是一个简单、高效且强大的语义分割框架，它将Transformer与轻量级多层感知机（MLP）解码器相结合。SegFormer具有两个吸引人的特点：1）SegFormer包含一个新颖的层次结构Transformer编码器，该编码器能够输出多尺度特征。它不需要位置编码，从而避免了当测试分辨率与训练分辨率不同时，位置编码的插值导致性能下降的问题。2）SegFormer避免了复杂的解码器。所提出的MLP解码器从不同层聚合信息，从而结合了局部注意力和全局注意力，以产生强大的表示。
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割
川川自溢的博客
03-15 8969
【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割 文章中可以跳转具体的代码解析
论文笔记：Swin-Unet: Unet-like Pure Transformer for MedicalImage Segmentation
qq_40206371的博客
07-24 807
其中SwinTransformerblock也是一样的（两个一组）U-net的结构，只不过里面不再是CNN了，而是Transformer。
[Transformer]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_37151108的博客
10-20 4845
Swin-UNet：基于纯Transformerde的医学图像分割网络 Abstract 近年来CNN已经成为医学图像分析任务的基础结构，尤其是融合了编解码结构和skip-connection的U型网络广泛应用于各种医学图像分析任务。然而受限于卷积操作的局部性，CNN并不能很好的学习全局信息以及长程语义信息。 本文提出的Swin-UNet,是一个纯基于Transformer搭建的U型网络，可以用于医学图像分割任务。
Swin-UNet取标记后的图像patch作为输入，搭建的U型网络包含编解码结构以及skip
Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation
fanre的专栏
07-07 414
https://arxiv.org/abs/2105.05537 首先这是一个2D图像网络
图像分割（三）—— Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_42208244的博客
09-12 4771
transformer图像分割
基于SwinTransformer+UNet的遥感图像语义分割
白景屹的博客
05-26 1万+
目录摘要1.Introduction 摘要 全局上下文信息（context information）对于遥感图像的语义分割至关重要。然而，现有的大多数方法都依赖于卷积神经网络（CNN），由于卷积运算的局部性（locality），直接获取全局上下文信息充满了挑战性。受具有强大全局建模能力的Swin transformer的启发，我们提出了一种新的 Remote Sensing image 语义分割框架，称为ST-U网络，该框架将Swin transformer嵌入到基于CNN的经典UNet中。ST UNet.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值