Medical Transformer: GatedAxial-Attention for Medical ImageSegmentation文献学习笔记（有代码）仅供自用

已于 2022-05-29 19:19:23 修改
阅读量270 收藏 1
点赞数 1
文章标签： transformer 学习 深度学习
于 2022-05-29 17:01:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67138138/article/details/124991083
版权

小白一个，只是自己学习使用，有任何问题欢迎大佬指出！！

问题所在

1.ConvNets中，每个卷积核只关注整个图像中像素的一个局部子集，并迫使网络关注局部模式，而不是全局上下文。缺乏图像中的远程相关性（long-range dependencies） 

注：远程相关性，考虑一个像素的时候同时考虑其邻域，甚至是邻域的邻域

 卷积神经网络中错误的将背景分类为脑室

该文所讲

1.提出了一种门控位置敏感的轴向注意机制，即使在较小的数据集上也能很好地工作

2.介绍了Local-Global (LoGo)训练方法

代码理解：1.整体结构使用的是u-net结构，编码层替换为b图的结构

                   2.在b层中对高和宽分别进行编码

                                 

结果对比：

山河故人938
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
阿木寺的博客
02-24 4026
表现SOTA！并提出局部-全局训练策略(LoGo)，进一步提高性能，优于Res-UNet、U-Net++等网络，代码刚刚开源！ Medical Transformer: Gated Axial-Attention for Medical Image Segmentation 作者单位：JHU, 新泽西州立大学 代码：https://github.com/jeya-maria-jose/Medical-Transformer 论文下载链接：https://arxiv.org/abs/2102.10662
[医学图像Transformer] Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
qq_38932073的博客
06-29 3383
医学图像Transformer：一种用于医学图像分割的门控轴向注意力网络 论文地址 开源代码 摘要 大多数现有的基于Transformer的网络架构用于视觉应用，但需要大规模数据集来正确训练。然而，与用于视觉应用的数据集相比，用于医学成像的数据样本数量相对较低，使得难以有效地训练用于医学应用的Transformer。为此，我们提出了一个门控轴向注意（Gated Axial-Attention）模型，该模型通过在自注意模块中引入额外的控制机制来扩展现有的体系结构。此外，为了在医学图像上有效地训练模型，我们提出
深度学习+BoxeR:Box-Attention for 2D and 3D Transformers
02-18
深度学习与Transformer技术在计算机视觉领域中的应用正在不断拓展，其中BoxeR：Box-Attention for 2D and 3D Transformers这篇论文提出了一种新的注意力机制，旨在提高2D和3D Transformer模型的性能。BoxeR的核心是...
【论文+代码】Swin-Unet Unet-Like Pure Transformer for Medical Image Se
最新发布
05-11
【论文+代码】Swin-Unet Unet-Like Pure Transformer for Medical Image Segmentation 代码亲测可运行，想要读代码改进的，从main.py开始
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object
08-02
随着深度学习技术的发展，Transformer模型在各个领域的应用越来越广泛，但在MOT中，如何有效地利用长期时间信息仍然是一个挑战。现有的大多数方法局限于相邻帧之间的目标特征利用，缺乏对长时间序列信息的建模能力。...
从RNN到Attention到Transformer系列：Encode-Decode(Seq2Seq)代码实现
05-30
​ 介绍从RNN到Attention到Transformer系列中Decode-Encode(Seq2Seq) https://blog.csdn.net/qq_39707285/article/details/124726403
Recurrent DETR: Transformer-Based Object Detection for Crowded S
11-25
这篇名为“Recurrent DETR: Transformer-Based Object Detection for Crowded Scenes”的研究论文正是针对这一挑战进行的探索。作者们提出了一种名为Recurrent DETR的新方法，该方法通过迭代解码器块来生成更多的...
axial-attention:实施轴向注意力-有效地处理多维数据
05-24
轴向注意 在Pytorch中实施。 一种简单而强大的技术，可以有效处理多维数据。 它为我和许多其他研究人员创造了奇迹。 只需在数据中添加一些位置编码，然后将其传递到此方便的类中，即可指定要嵌入的尺寸以及要旋转的轴向尺寸。 所有的排列，整形，都将为您解决。 实际上，这篇论文由于过于简单而被拒绝了。 然而，自那以后，它已成功用于许多应用中，包括， 。 只是去展示。 安装 $ pip install axial_attention 用法 图像 import torch from axial_attention import AxialAttention img = torch . randn ( 1 , 3 , 256 , 256 ) attn = AxialAttention ( dim = 3 , # embedding dimension
全国2003年4月高等教育自学考试信号与系统试题历年试卷
01-10
全国2003年4月高等教育自学考试信号与系统试题历年试卷
[Transformer]MedT:Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
qq_37151108的博客
11-01 1775
Medical Transformer:门控轴向注意力用于医学图像分割AbstractSection I IntroductionSection II Medical Transformer(MedT)Part 1 Self-Attention OverviewPart 2 Gated Axial-AttentionSection III ExoerimentsSection IV Conclusion Abstract 过去十年间，深度卷积神经网络广泛应用于医学图像分割领域并取得了优异的性能；但是鉴于卷积
论文精读:Medical Transformer: Gated Axial-Attention forMedical Image Segmentation
qq_52053775的博客
11-02 967
论文地址:https://arxiv.org/pdf/2102.10662.pdf 代码地址:GitHub - jeya-maria-jose/Medical-Transformer: Official Pytorch Code for "Medical Transformer: Gated Axial-Attention for Medical Image Segmentation" - MICCAI 2021 由于卷积体系结构中存在的固有的归纳偏差，它们缺乏对图像中的随机依赖性的理解。最近
Medical transformer源码解读
qq_52053775的博客
11-06 1235
数据预处理部分比较常规，进行了一下裁剪和色彩增强操作，比较简单，不在多说。另外，官方github上提供了数据。
METD-Medical Transformer：用于医学图像分割的门控轴向注意力Transformer
weixin_43921949的博客
09-14 3555
具有门控轴向注意力的Transformer
[深度学习从入门到女装]Multi-scale guided attention for medical image segmentation
炼丹师
08-30 1824
论文地址：Multi-scale guided attention for medical image segmentation 整个网络结构如上图所示，首先使用resnet的各个层，提取到不同size的feature map，然后使用guided attention 模块进行融合，得到不同size的分割结果，最后再结合到一起 guided atteention module如上...
YOLOv8血细胞检测（3）：通道优先卷积注意力（Channel Prior Convolutional Attention，CPCA）| 中科院 2023.6发布
10-08 535
CPCA | 亲测在血细胞检测项目中涨点，map@0.5 从原始0.895提升至0.905
Medical Transformer 论文阅读笔记
read, note and comment papers
05-28 1056
这是arxiv上的一篇文章，文章作者： 文章提出了用transformer来做医学图像分割。要解决的问题是，transformer在图像任务上相比卷积神经网络需要更大的数据集来训练，而医学图像处理的一个难题就是数据不足，数据集不够大。 文章主要贡献是两点，一是在现有的注意力机制上增加了一个机制，一个是提出了一种训练机制 ...
Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement
07-27
C知道: Retinexformer是一种基于Retinex的一阶段Transformer模型，用于低光照图像增强。Retinex是一种用于图像增强的经典算法，旨在通过调整图像的亮度和对比度来改善低光照条件下的图像质量。而Transformer是一种常用于自然语言处理任务的深度学习模型，但近年来也被应用于计算机视觉领域。 Retinexformer结合了Retinex算法和Transformer模型的优势，通过自动学习图像中的全局和局部信息，实现了低光照图像的增强。该模型能够提高图像的亮度、对比度和细节，并改善图像的视觉质量。通过使用Transformer的注意力机制，Retinexformer能够在增强过程中自适应地对不同区域进行加权处理，从而更好地保留图像的细节。 总体而言，Retinexformer是一种创新的深度学习模型，能够有效地提升低光照条件下图像的质量和可视化效果。它在图像增强任务中具有潜力，并为低光照图像处理领域带来了新的思路和方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值