用于脑MRI分割的注意对称自动编码器

Attentive Symmetric Autoencoder for Brain MRI Segmentation

摘要

基于图像块重建的自监督学习方法在训练自动编码器方面取得了巨大成功,其预先训练的权重可以转移到微调图像理解的其他下游任务。然而,现有的方法在应用于3D医学图像时,很少研究重建patch的各种重要性和解剖结构的对称性。

  1. 提出了一种新的基于视觉变换器(ViT)的注意力对称自动编码器(ASA),用于3D大脑MRI分割任务。
  2. 与恢复平滑的图像块相比,强制自动编码器恢复信息丰富的图像区域可以获得更多的判别表示
  3. 采用基于梯度的度量来估计每个图像块的重要性。在预训练阶段,所提出的自动编码器更注重根据梯度度量重构信息patch
  4. 此外,我们利用大脑结构的先验知识,开发了一种对称位置编码(SPE)方法,以更好地利用长程但空间对称的区域之间的相关性来获得有效的特征。

本文方法

在这里插入图片描述
所提出的ASA由一对具有对称位置编码(SPE)和注意重建损失的编码器和解码器组成。在ASA的自监督训练过程中,输入的3D图像被划分为规则的非重叠图像块

Attentive Reconstruction Loss

考虑到学习恢复平坦区域对鼓励模型获取判别表示的帮助较小。我们开发了一种专注的重建损失功能,强调大脑MRI的信息区域。为了估计图像块的信息,我们对3D图像采用了基于梯度的度量。受3D VHOG的启发,我们通过应用[-1,0,1]的滤波器掩码来计算每个体素的梯度向量g=(gx,gy,gz)。在球坐标中,我们使用两个标量θ和φ来表示体素的方向。θ和φ可以计算为
在这里插入图片描述
在这里插入图片描述

位置编码SPE

大脑结构的左右对称性,并提出了一种对称位置编码(SPE)方法。缩小了两个对称图像位置的编码差异,并可以鼓励模型从这两个相关区域中获得更好的特征
在这里插入图片描述
在这里插入图片描述

下游任务网络结构

在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

要了解如何结合自蒸馏掩蔽自动编码器网络(SdAE)和视觉Transformer(ViT)模型以提升图像分类任务的性能,首先需要关注SdAE的设计原理和它如何与ViT相互作用。SdAE通过引入教师分支和学生分支来优化视觉模型的预训练。教师分支生成潜在表示,而学生分支尝试重建这些表示,这样通过信息瓶颈优化教师分支,提升了模型的性能。 参考资源链接:[SdAE:自蒸馏掩蔽自动编码器网络提升视觉Transformer的表现](https://wenku.csdn.net/doc/5otb1541ag?spm=1055.2569.3001.10343) 在预训练视觉Transformer模型时,可以采取以下步骤: 1. 准备训练数据:对输入图像应用多重掩蔽策略,随机遮挡图像的一部分。 2. 构建学生分支:使用编码器-解码器架构,其中编码器部分可以是预训练的ViT模型,解码器尝试重建被遮挡的图像部分。 3. 构建教师分支:教师模型也采用类似的ViT架构,用于生成图像的潜在表示。 4. 信息瓶颈策略:通过信息瓶颈优化教师分支,以确保它产生高质量的潜在表示,供学生分支使用。 5. 微调阶段:在预训练完成后,使用更小的学习率在特定数据集上对整个模型进行微调。 在实施这一过程时,需要注意以下关键技术细节: - 选择合适的掩蔽策略和掩蔽比例,以平衡重建任务的难度和学习到的信息量。 - 细化学生分支和教师分支的结构和参数,确保两者能够互补并有效地传输知识。 - 在微调阶段,应根据目标数据集调整学习率和训练周期,以获得最佳性能。 该方法的关键在于如何有效地利用掩蔽图像建模和自蒸馏技术来学习图像的内在表示,以及如何将这些表示转换为下游任务的高性能。 结合《SdAE:自蒸馏掩蔽自动编码器网络提升视觉Transformer的表现》这篇资料,读者将获得一个全面的视角,了解如何利用SdAE优化视觉Transformer模型,并通过实验验证其在图像分类任务中的性能提升。该资源不仅详细介绍了SdAE的架构和实验结果,还为继续深入研究计算机视觉提供了坚实的基础。 参考资源链接:[SdAE:自蒸馏掩蔽自动编码器网络提升视觉Transformer的表现](https://wenku.csdn.net/doc/5otb1541ag?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨小杨1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值