Medical transformer源码解读

已于 2023-02-24 08:44:12 修改
阅读量1.4k 收藏 7
点赞数
分类专栏： 图像分割 害虫检测+缺陷检测+面向医学的深度学习实战 文章标签： transformer 深度学习 人工智能 计算机视觉 神经网络
于 2022-11-06 15:47:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52053775/article/details/127714047
版权
本文深入探讨Medical Transformer的实现细节，包括数据预处理和网络结构。数据预处理涉及图像裁剪和色彩增强，网络结构重点在于全局和局部特征提取。全局特征通过下采样和Gate Axis Attention提取，局部特征则采用类似方法但不包含位置编码。网络结构中，编码器和解码器结合，用于图像特征的提取和放大，最终输出结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

代码链接见文末

1.数据预处理

        数据预处理部分比较常规，进行了一下裁剪和色彩增强操作，比较简单，不在多说。另外，官方github上提供了数据

2.网络结构

全局特征提取

                首先，为了节省运算，经过卷积对特征图进行下采样，下采样至64*64大小，然后将结果输入堆叠的Gate Aixal Attention中，进行特征提取。

  Gate Aixal Attention:

        Aixal Attention分别对H轴和W轴进行自注意力机制运算，具体过程为:

  • 首先经过线性投影得到q,k,v，需要注意的是q为8个通道,k为8个通道,v为16个通道,因为v要汇集两个轴的信息。
  • 随机初始化可以学习的位置编码r,维度为4,H,W,其中q的维度为1,H,W,K的维度为1,H,W,V的维度为2,H,W
  • 如下图所示，首先求得qk,qr,kr，并对qr和kr使用Gk,Gq抑制因子对qr和kr的影响进行抑制。然后汇集qk和qr、kr的信息,具体为先拼接再求和，最后经过softmax归一化得到注意力权重
  • 求得qkv和qkr,并使用门控抑制因子进行抑制,然后融合特征和位置编码(先拼接再求和)得到注意力计算结果

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文精读:Medical Transformer: Gated Axial-Attention forMedical Image Segmentation
qq_52053775的博客
11-02 1195
论文地址:https://arxiv.org/pdf/2102.10662.pdf 代码地址:GitHub - jeya-maria-jose/Medical-Transformer: Official Pytorch Code for "Medical Transformer: Gated Axial-Attention for Medical Image Segmentation" - MICCAI 2021 由于卷积体系结构中存在的固有的归纳偏差，它们缺乏对图像中的随机依赖性的理解。最近
MICCAI‘24 | Med-Former：一种基于Transformer的医学图像分类架构
小白学视觉
01-07 234
近年来，基于Transformer的图像分类方法在各种图像分类任务中展现出了显著的有效性。然而，它们在医学图像的应用中面临挑战，尤其是在网络的特征提取能力上。此外，这些模型在网络中有效传播关键信息方面常常遇到困难，阻碍了它们在医学成像任务中的性能。为了克服这些挑战，作者引入了一个新框架，包括局部-全局Transformer模块和空间注意力融合模块，统称为MedFormer。这些模块专门设计用于在局部和全局层面增强特征提取能力，并改善网络内关键信息的传播。
MedT：用于医学图像分割的Transformer
热门推荐
阿木寺的博客
02-24 1万+
表现SOTA！并提出局部-全局训练策略(LoGo)，进一步提高性能，优于Res-UNet、U-Net++等网络，代码刚刚开源！ Medical Transformer: Gated Axial-Attention for Medical Image Segmentation 作者单位：JHU, 新泽西州立大学 代码：https://github.com/jeya-maria-jose/Medical-Transformer 论文下载链接：https://arxiv.org/abs/2102.10662
Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记（有代码）仅供自用
weixin_67138138的博客
05-29 352
问题所在 1.ConvNets中，每个卷积核只关注整个图像中像素的一个局部子集，并迫使网络关注局部模式，而不是全局上下文。缺乏图像中的远程相关性（long-range dependencies） 注：远程相关性，考虑一个像素的时候同时考虑其邻域，甚至是邻域的邻域 该文所讲 1.提出了一种门控位置敏感的轴向注意机制，即使在较小的数据集上也能很好地工作 2.介绍了Local-Global (LoGo)培训方法 ...
Medical-Transformer模型解读（附源码+论文）
最新发布
小西几的博客
03-20 931
看看效果，医学的细胞图像分割，上面一行是预测的，下面一行是真实标签。我就跑了400个epochs，数据集也比较小，跑了几分钟，所以效果可能没那么明显的好。这个是官方给的一个对比图。
MS-Model【3】：Medical Transformer
BUPTer
01-25 1581
本文是 2021 年发表在 MICCAI 上的一篇文章，在当年的多项医学图像分割任务挑战中都获得了不错的成绩。本文主要介绍了这篇论文提出的 Medical Transformer 的结构及相关内容。卷积架构存在着固有的归纳偏差（归纳偏差指的是神经网络模型会产生具有偏好的预测结果，也就是说归纳偏差会使得学习算法优先考虑具有某些特定属性的解），它们缺乏对图像中长程依赖性的理解。文章提出了用 transformer 来做医学图像分割。
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
h201601060805的博客
05-11 1423
摘要 在过去的十年中，深度卷积网络已经被广泛应用于医学图像分割，并显示出足够强的性能。然而，由于卷积架构中存在固有的归纳偏差，它们缺乏对于图像中长程相关性的理解。最近提出的利用自注意力机制的基于转换结构编码了长期依赖性。并学习了高度表达的表示。这促使我们探索基于Transformer的解决方案，并研究使用基于Transformer架构的可行性。大多数现有的基于Transformer的网络架构建议用于视觉应用需要大规模数据集来正确训练。然而，用于医学图像成像的数据样本量相对较低，使得难以训练用于医学应用的tr
Medical Transformer 开源项目教程
gitblog_00783的博客
08-16 847
Medical Transformer 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/me/Medical-Transformer 项目介绍 Medical Transformer 是一个用于医学图像分割的 PyTorch 项目，基于门控轴向注意力机制。该项目在 MICCAI 2021 会议上发表，旨在通过引入 Transformer 架构来改善医学图像分割...
Medical transformer介绍
08-19
- *2* [Medical transformer源码解读](https://blog.csdn.net/qq_52053775/article/details/127714047)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
医图论文 CVPR‘24 | SegFormer3D：一种高效的3D医学图像分割Transformer
小白学视觉
01-08 3057
视觉Transformer（ViTs）架构的采用代表了3D医学图像（MI）分割领域的重要进步，通过增强全局上下文理解超越了传统的卷积神经网络（CNN）模型。尽管这种范式转变显著提高了3D分割性能，但最先进的架构需要极其庞大和复杂的架构以及大规模计算资源进行训练和部署。此外，在医学成像中经常遇到的有限数据集的背景下，更大的模型可能在模型泛化和收敛方面带来障碍。
Medical Transformer 论文阅读笔记
read, note and comment papers
05-28 1188
这是arxiv上的一篇文章，文章作者： 文章提出了用transformer来做医学图像分割。要解决的问题是，transformer在图像任务上相比卷积神经网络需要更大的数据集来训练，而医学图像处理的一个难题就是数据不足，数据集不够大。 文章主要贡献是两点，一是在现有的注意力机制上增加了一个机制，一个是提出了一种训练机制 ...
Transformer-医学图像-MICCAI 2021-Medical Transformer: Gated Axial-Attention for Medical Image
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
09-05 1578
实际上是在医学领域的运行，只是在这基础上增加了门机制，实际上也就是在原来Axial-attention基础之上增加权重机制，虚弱位置信息对于数据的影响，发现虚弱之后的效果比Axial-Attention机制效果更好。
METD-Medical Transformer：用于医学图像分割的门控轴向注意力Transformer
weixin_43921949的博客
09-14 4014
具有门控轴向注意力的Transformer
MedT: Medical Transformer 论文阅读 MICCAI2021
qq_42144613的博客
08-30 2821
MedT: Medical Transformer 论文阅读 MICCAI2021 Tranformer医学图像分割 题目：《Medical Transformer: Gated Axial-Attention for Medical Image Segmentation》 论文： https://arxiv.org/abs/2102.10662. 代码： https://github.com/jeya-maria-jose/Medical-Transformer. 期刊： MICCAI2021 这是一
[医学图像Transformer] Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
qq_38932073的博客
06-29 3733
医学图像Transformer：一种用于医学图像分割的门控轴向注意力网络 论文地址 开源代码 摘要 大多数现有的基于Transformer的网络架构用于视觉应用，但需要大规模数据集来正确训练。然而，与用于视觉应用的数据集相比，用于医学成像的数据样本数量相对较低，使得难以有效地训练用于医学应用的Transformer。为此，我们提出了一个门控轴向注意（Gated Axial-Attention）模型，该模型通过在自注意模块中引入额外的控制机制来扩展现有的体系结构。此外，为了在医学图像上有效地训练模型，我们提出
探索Medical-Transformer：医疗领域的自然语言处理新星
gitblog_00075的博客
04-12 541
探索Medical-Transformer：医疗领域的自然语言处理新星 项目地址:https://gitcode.com/gh_mirrors/me/Medical-Transformer 项目简介 Medical-Transformer是一个创新的开源项目，旨在利用深度学习技术，特别是 Transformer架构，为医疗文本理解和信息提取提供解决方案。该项目由Jeya Maria Jose发起，...
transformer源码解读
09-01
嗨！对于Transformer源码的解读，我可以给你一些基本的指导。请注意，我不能提供完整的源代码解读，但我可以帮助你理解一些关键概念和模块。 Transformer是一个用于自然语言处理任务的模型，其中最著名的应用是在机器翻译中。如果你想要深入了解Transformer的实现细节，我建议你参考谷歌的Transformer源码，它是用TensorFlow实现的。 在Transformer中，有几个关键的模块需要理解。首先是"self-attention"机制，它允许模型在处理序列中的每个位置时，同时关注其他位置的上下文信息。这个机制在Transformer中被广泛使用，并且被认为是其性能优越的主要原因之一。 另一个重要的模块是"Transformer Encoder"和"Transformer Decoder"。Encoder负责将输入序列转换为隐藏表示，而Decoder则使用这些隐藏表示生成输出序列。Encoder和Decoder都由多个堆叠的层组成，每个层都包含多头自注意力机制和前馈神经网络。 除了这些核心模块外，Transformer还使用了一些辅助模块，如位置编码和残差连接。位置编码用于为输入序列中的每个位置提供位置信息，以便模型能够感知到序列的顺序。残差连接使得模型能够更好地传递梯度，并且有助于避免梯度消失或爆炸的问题。 了解Transformer的源码需要一定的数学和深度学习背景知识。如果你对此不太了解，我建议你先学习相关的基础知识，如自注意力机制、多头注意力机制和残差连接等。这样你就能更好地理解Transformer源码中的具体实现细节。 希望这些信息对你有所帮助！如果你有任何进一步的问题，我会尽力回答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值