METD-Medical Transformer：用于医学图像分割的门控轴向注意力Transformer

已于 2022-09-16 11:14:28 修改
阅读量3.3k 收藏 21
点赞数 5
分类专栏： 医学图像分割的Transformer 文章标签： transformer 深度学习 计算机视觉
于 2022-09-14 14:47:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43921949/article/details/126845787
版权

目录

Title:Medical Transformer: Gated Axial-Attention for Medical Image Segmentation

摘要-Abstract

本文的提出动机

方法-Method

网络整体结构图

自注意力机制回顾

Axial Attention（轴向注意力机制）

门控轴向注意力

局部-全局训练策略

Title:Medical Transformer: Gated Axial-Attention for Medical Image Segmentation

摘要-Abstract

卷积架构存在着固有的归纳偏差（归纳偏差指的是神经网络模型会产生具有偏好的预测结果，也就是说归纳偏差会使得学习算法优先考虑具有某些特定属性的解）它们缺乏对图像中长程依赖性的理解。

本文的提出动机

1）传统的CNN的卷积层缺乏对图像中远程依赖关系的建模能力（即使使用不断的池化层能够提高感受野，但是会引起大量的结构损失）。而Transformer在捕获长程依赖关系方面具有良好的性能。

2）由于带标注的医学数据稀缺是一个瓶颈问题，而Transformer结构往往有需要大量的数据才能够取得较好的性能，所以本文提出了Gated Axial Attention结构来考虑解决这个问题。（主要通过在自注意模块中引入额外的控制机制来扩展现有架构）

3）另外为了提高Transform的性能，文章提出了局部-全局的训练策略（具体来说，我们对整个图像和各个Patches进行操作以分别学习全局和局部特征）

方法-Method

网络整体结构图

自注意力机制回顾

考虑一个输入特征图x\epsilon R^{^{c^{in}*H*W}},自注意力层的输出y\epsilon R^{c_{out}*H*W}是使用以下等式进行计算的

其中q，k，v都是从x输入的计算投影，与卷积不同自注意力机制能够从整个特征图中捕获非局部信息。但是这种对于相似度的计算的计算量非常之大。

为了克服这种相似性度量计算量非常大的弊端，本文引入了

Axial Attention（轴向注意力机制）

这个轴向注意力机制将原始的自注意力模块分解为两个自注意模块，第一个模块在高这个轴上单独计算自注意力，第二个模块在宽这个轴上单独计算注意力，同时为了在计算时添加位置信息，作者又添加了一个位置偏置，这个偏置通常被称为相对位置编码，是可以在训练过程中进行学习的。对于任何给定的特定的输入特征图x，具有位置编码和宽度轴的更新自注意力机制可以写成：

其中rq, rk, rv是位置偏置。

门控轴向注意力

 上面提到的轴向注意力机制可以很好的得到非局部的信息，并且计算比较高效，但是这种方法是在大尺度的分割数据上进行计算的，所以能够非常好的学习到q,k,v中的位置偏差。如果使用低尺度的医学图像进行分割，通常难以学习到准确的位置信息，添加位置偏差可能会造成大量误差，所以在本小节提出了门控轴向注意力。

其结构示意图如下

具体过程可以总结为：首先输入X通过三个参数矩阵分别得到对应的q，k，v。然后q，k进行矩阵相乘进行相似度的计算。然后q,k分别和位置编码进行矩阵相乘，将这两个个所得的结果再与门控单元进行矩阵乘法，最终将这三个量的结果相加起来得到第一阶段的结果。

将第一阶段的结果送入Softmax进行处理得到一个结果，将这个结果与位置编码和最开始的k值进行矩阵乘法得到两个结果，这两个结果再与门控单元做矩阵乘法得到的两个结果再相加得到门控注意力机制模块的最终输出。

门控Gated的作用就是控制位置信息r的权重如果位置信息r准确，就给予较大的权重，如果不准确则给予较低的权重。

局部-全局训练策略

 这一部分在网络结构图中体现在输入的双分支部分。

作者想利用将图片根据patches的方式进行输入网络的方式来提高Transformer的运行速度。但仅仅是patch-wise训练针对医学图像的分割并不是一个有效的方法。因为这种方法限制了网络学习不同patches之间的信息相关

为了提高网络对于整个图片的信息提取，作者在网络中使用了双分支，一个全局分支处理全局信息，一个局部分支处理patch信息。其中全局分支减少了部分编码器模块，局部分支将输入长宽分为4份，分成了16个patch进行运算。然后将输出的所有patch进行reshape。最后将两个branches进行元素相加后经过一个1*1卷积层输出

这个策略旨在提高性能，减少运算时间。

不想敲代码的小杨
关注
  • 5
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
YoloV5改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！
m0_47867638的博客
01-01 2190
本文尝试了两种改进方法，均有涨点。欢迎大家在自己的数据集上做尝试！链接：
【论文阅读】MCANet: Medical Image Segmentation with Multi-Scale Cross-Axis Attention
AI浩
12-25 2344
链接：https://arxiv.org/abs/2312.08866医学图像分割是医学图像处理和计算机视觉领域的关键挑战之一。由于病变区域或器官的大小和形状各异，有效地捕捉多尺度信息和建立像素间的长距离依赖性至关重要。本文提出了一种基于高效轴向注意力的多尺度交叉轴注意（MCA）方法来解决这些问题。MCA通过计算两个并行轴向注意力之间的双向交叉注意力，以更好地捕获全局信息。
探索Medical-Transformer：医疗领域的自然语言处理新星
最新发布
gitblog_00075的博客
04-12 280
探索Medical-Transformer：医疗领域的自然语言处理新星 项目地址:https://gitcode.com/jeya-maria-jose/Medical-Transformer 项目简介 Medical-Transformer是一个创新的开源项目，旨在利用深度学习技术，特别是 Transformer架构，为医疗文本理解和信息提取提供解决方案。该项目由Jeya Maria Jose...
APAUNet
weixin_43921949的博客
11-22 988
在本文中，我们提出了一个强大的网络三维医学分割任务，称为轴投影注意网络(APAUNet)。为了处理高度不平衡的目标和背景，我们利用正交投影策略和维度杂交策略来建立我们的APAUNet。
axial attention 轴向注意力
chumingqian的博客
04-11 1941
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation 论文解读： https://zhuanlan.zhihu.com/p/408662947 1.2 添加了门控单元的轴注意力网络 在门控轴注意力网络中，　 1.　 将axial attention layers 轴注意力层　全部换成门控轴注意力层。 2. Medical Transformer LoGo network: 在局部 + 全局的网络中:使用的是
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Acmer_future_victor的博客
03-17 4962
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation 医学转换器：用于医学图像分割的门控轴向注意力 Abstract 在过去的十年中，深度卷积神经网络被广泛地应用于医学图像分割，并显示出良好的性能。然而，由于卷积体系结构中存在固有的归纳偏差，它们缺乏对图像中的长期依赖关系的理解。最近提出的基于Transformer的体系结构利用自我注意机制，编码长范围依赖关系，并学习具有高度表现力的表示法。这促使我们探索基于Tra
什么是轴向注意力（Axial Attention）机制
胖虎的博客
04-05 5717
注意力机制之 Axial Attention
GCTNet 用于视觉识别的门控信道变换注意力机制
m0_63642362的博客
01-14 3162
本文复现了CVPR 2020一篇关于注意力机制的文章，文章中提出了一种常规的、易应用的变换单元GCT，轻量化而且即插即用，对检测等任务有很好的帮助。
MS-Model【3】：Medical Transformer
BUPTer
01-25 1253
本文是 2021 年发表在 MICCAI 上的一篇文章，在当年的多项医学图像分割任务挑战中都获得了不错的成绩。本文主要介绍了这篇论文提出的 Medical Transformer 的结构及相关内容。卷积架构存在着固有的归纳偏差（归纳偏差指的是神经网络模型会产生具有偏好的预测结果，也就是说归纳偏差会使得学习算法优先考虑具有某些特定属性的解），它们缺乏对图像中长程依赖性的理解。文章提出了用 transformer 来做医学图像分割。
2020 ||门控通道注意力机制Gated Channel Transformation
qq_51302564的博客
04-16 1万+
Gated Channel Transformation for Visual Recognition 论文链接: https://arxiv.org/abs/1909.11519 代码地址: https://github.com/z-x-yang/GCT CSDN（这个是详细的解说）：https://blog.csdn.net/weixin_47196664/article/details/108414207?ops_request_misc=&request_id=&biz_id=102
Medical Transformer 论文阅读笔记
read, note and comment papers
05-28 1031
这是arxiv上的一篇文章，文章作者： 文章提出了用transformer来做医学图像分割。要解决的问题是，transformer在图像任务上相比卷积神经网络需要更大的数据集来训练，而医学图像处理的一个难题就是数据不足，数据集不够大。 文章主要贡献是两点，一是在现有的注意力机制上增加了一个机制，一个是提出了一种训练机制 ...
轴向力及径向力计算.rar
05-18
轴向力及径向力计算.rar
axial-attention:实施轴向注意力-有效地处理多维数据
05-24
轴向注意 在Pytorch中实施。 一种简单而强大的技术，可以有效处理多维数据。 它为我和许多其他研究人员创造了奇迹。 只需在数据中添加一些位置编码，然后将其传递到此方便的类中，即可指定要嵌入的尺寸以及要旋转的轴向尺寸。 所有的排列，整形，都将为您解决。 实际上，这篇论文由于过于简单而被拒绝了。 然而，自那以后，它已成功用于许多应用中，包括， 。 只是去展示。 安装 $ pip install axial_attention 用法 图像 import torch from axial_attention import AxialAttention img = torch . randn ( 1 , 3 , 256 , 256 ) attn = AxialAttention ( dim = 3 , # embedding dimension
钢管轴向承载力自动计算表
04-25
钢管轴向承载力自动计算表 只要输入钢管尺寸（外径、壁厚、和长度），可自动计算出钢管轴向承载力。 用用于钢管支撑安全设计系数设计。
YoloV8改进策略：AAAI 2024 最新的轴向注意力| 即插即用，改进首选|全网首发，包含数据集和代码，开箱即用！
m0_47867638的博客
12-22 2851
本文提出了一种名为Multi-scale Cross-axis Attention（MCA）的方法，用于解决医学图像分割中的多尺度信息和长距离依赖性问题。该方法基于高效轴向注意力，通过计算两个平行轴向注意力之间的双向交叉注意力，更好地捕获全局信息。为了处理病变区域或器官的个体尺寸和形状的显著变化，我们还在每个轴向注意力路径中使用多个具有不同内核大小的条形卷积，以提高编码空间信息的效率。我们将提出的MCA构建在MSCAN主干上，形成名为MCANet的网络。
Axial Attention 轴向注意力，包括RowAttention 和 column Attention
wqq112692的博客
02-19 491
中提出了一种基于Transformer自注意力机制的Axial Attention。Axial Attention轴向注意力将二维输入分解为其轴向的组件，例如行和列，然后在每一个组件中，独立地为每个轴应用注意力，比如在每一行上面执行自注意力机制然后再再每一列上执行自注意力机制。感受野是目标像素的同一行(或者同一列) 的W(或H)个像素, 只有将Row-Attention和Column-Attention组合使用, 才能实现全局注意力。
医疗Transformer应用综述
charles_zhang_的博客
04-28 4425
医疗Transformer应用综述 Transformers in Medical Imaging: A Survey Abstract 在自然语言任务上取得了前所未有的成功后，Transformers 已成功地应用于若干计算机视觉问题，取得了最新的成果，并促使研究人员重新考虑卷积神经网络（CNN）作为事实上的算子的优越性。利用计算机视觉的这些进步，医学成像领域也见证了对Transformers 的兴趣日益增长，与具有局部感受野的CNN相比，Transformers 能够捕捉全局环境。受这一转变的启发，在本
[医学图像Transformer] Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
qq_38932073的博客
06-29 3246
医学图像Transformer：一种用于医学图像分割的门控轴向注意力网络 论文地址 开源代码 摘要 大多数现有的基于Transformer的网络架构用于视觉应用，但需要大规模数据集来正确训练。然而，与用于视觉应用的数据集相比，用于医学成像的数据样本数量相对较低，使得难以有效地训练用于医学应用的Transformer。为此，我们提出了一个门控轴向注意（Gated Axial-Attention）模型，该模型通过在自注意模块中引入额外的控制机制来扩展现有的体系结构。此外，为了在医学图像上有效地训练模型，我们提出
TransUNet：Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解
热门推荐
weixin_43656644的博客
03-20 1万+
原文地址：https://arxiv.org/pdf/2102.04306.pdf 收录：CVPR 2021 代码:https://github.com/Beckschen/TransUNet 首篇将transformers用于医疗分割的文章 设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection 对关键的公式，和结构图进行了个人的一些注释，供大家参考。 摘要 在医学图像中， U-Net, 已经成为了 de-f..
门控轴向自注意力机制代码
08-27
你可以使用以下代码实现门控轴向自注意力机制（Gated Axial Self-Attention）： ```python import torch import torch.nn as nn class GatedAxialSelfAttention(nn.Module): def __init__(self, dim, max_length): super(GatedAxialSelfAttention, self).__init__() self.dim = dim self.max_length = max_length # 定义参数矩阵 self.W_q = nn.Linear(dim, dim, bias=False) self.W_k = nn.Linear(dim, dim, bias=False) self.W_v = nn.Linear(dim, dim, bias=False) self.W_g = nn.Linear(dim, dim, bias=False) self.W_o = nn.Linear(dim, dim, bias=False) def forward(self, x): batch_size, seq_length, _ = x.size() q = self.W_q(x) # (batch_size, seq_length, dim) k = self.W_k(x) # (batch_size, seq_length, dim) v = self.W_v(x) # (batch_size, seq_length, dim) # 水平方向的自注意力 attention_h = torch.matmul(q.transpose(1, 2), k.transpose(1, 2).contiguous()) # (batch_size, dim, seq_length) attention_h = attention_h.softmax(dim=-1) # 竖直方向的自注意力 attention_v = torch.matmul(k.transpose(1, 2).contiguous(), q.transpose(1, 2)) # (batch_size, seq_length, seq_length) attention_v = attention_v.softmax(dim=-1) # 门控机制 g_h = self.W_g(attention_h.transpose(1, 2).contiguous()) # (batch_size, seq_length, dim) g_v = self.W_g(attention_v) # (batch_size, seq_length, dim) # 融合水平和竖直的注意力 combined_attention = attention_h.transpose(1, 2).contiguous() * g_h + attention_v * g_v # 输出 output = torch.matmul(combined_attention, v.transpose(1, 2)) # (batch_size, seq_length, dim) output = self.W_o(output) return output # 使用示例 dim = 256 max_length = 100 batch_size = 32 seq_length = 50 input_data = torch.randn(batch_size, seq_length, dim) attention = GatedAxialSelfAttention(dim, max_length) output = attention(input_data) print(output.size()) ``` 这个代码实现了一个门控轴向自注意力机制的模块，输入是一个三维张量 `(batch_size, seq_length, dim)`，其中 `batch_size` 是批量大小，`seq_length` 是序列长度，`dim` 是特征维度。模块将输入通过门控轴向自注意力机制进行处理，并返回输出 `(batch_size, seq_length, dim)`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值