医图顶会 MICCAI‘24 | Med-Former：一种基于Transformer的医学图像分类架构_med-former: a transformer based architecture for m-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/144477831

论文信息

题目：Med-Former: A Transformer based Architecture for Medical Image Classification

Med-Former：一种基于Transformer的医学图像分类架构

源码链接：https://github.com/jignesh9999/class

论文创新点

局部-全局Transformer（LGT）模块的引入：作者提出了一个局部-全局Transformer（LGT）模块，该模块通过两个并行的注意力计算路径来增强局部和全局上下文信息的提取。
空间注意力融合（SAF）模块的提出：为了改善关键信息在网络中的传播，作者设计了一个空间注意力融合（SAF）模块。该模块负责融合来自前一阶段和层的特征图，减少了信息丢失，并且促进了网络内重要信息的有效传递。
在多个医学图像分类任务上验证性能：MedFormer框架在包括胸部X光片的胸部疾病分类、皮肤镜图像的皮肤病变分类和显微镜图像的血细胞分类在内的多个医学图像分类任务上进行了测试。

摘要

近年来，基于Transformer的图像分类方法在各种图像分类任务中展现出了显著的有效性。然而，它们在医学图像的应用中面临挑战，尤其是在网络的特征提取能力上。此外，这些模型在网络中有效传播关键信息方面常常遇到困难，阻碍了它们在医学成像任务中的性能。为了克服这些挑战，作者引入了一个新框架，包括局部-全局Transformer模块和空间注意力融合模块，统称为MedFormer。这些模块专门设计用于在局部和全局层面增强特征提取能力，并改善网络内关键信息的传播。为了评估作者提出的MedFormer框架的有效性，作者在三个公开可用的医学图像数据集上进行了实验：NIH Chest X-ray14、DermaMNIST和BloodMNIST。作者的结果表明，MedFormer超越了最先进的方法，强调了其在医学图像分类中的优越泛化能力和有效性。

关键字

医学图像分类 · Transformers · 计算机辅助诊断 · 局部-全局特征提取 · 空间注意力融合

2 方法

在本节中，作者首先描述MedFormer架构的概述。然后，作者介绍新设计的局部-全局Transformer（LGT）模块和空间注意力融合（SAF）模块的技术细节，这些是MedFormer的关键元素。

2.1 概述

图1展示了MedFormer架构，包括一个块划分层、一个线性嵌入层、LGT模块、块合并层、SAF模块和一个用于分类的MLP。块划分层将输入图像划分为大小为的块，其中表示块的宽度或高度。这些块通过嵌入阶段的线性嵌入层处理，然后由LGT模块处理并传递到后续阶段。后续阶段包括块合并层、LGT模块和SAF模块。每个阶段使用块合并层对输入特征图进行下采样。SAF模块用于融合前一阶段的SAF模块和当前阶段的LGT模块的输出，改善关键特征传播的连续性并减少信息丢失。第0阶段与K个连续阶段略有不同，它融合了来自嵌入阶段的LGT模块和当前阶段的LGT模块的输出，从而增强了对输入图像的上下文理解。

2.2 局部-全局Transformer（LGT）模块

提出的LGT模块与常规Swin-Transformer架构不同，它集成了两个并行路径（图2(a)）：全局路径Gp和局部路径Lp，用于在两个Transformer块（即块l和l+1）中计算多头自注意力（MSA）的不同窗口大小。Gp使用大小为的全局窗口，Lp使用大小为的局部窗口，其中。这种配置有助于在窗口级别提取全局和局部信息，从而增强特征表示学习和分类性能。Gp和Lp在块l中的MSA输出，分别表示为Wm-MSA和Wn-MSA，后来被组合并传递到下一个块l+1，其中MSA在移位窗口上，分别表示为SWm-MSA和SWn-MSA。

2.3 空间注意力融合（SAF）模块

提出的SAF模块（图2(b)）用于融合前一层和阶段的特征图，促进网络内关键信息的传递，减少信息丢失。该模块接受两个特征图，fA和fB，其中fA是前一阶段的特征图，fB是前一层的特征图。最初，它对特征图fA进行下采样以匹配特征图fB的尺寸。随后，分别计算特征图fA和fB的空间注意力图SPA和SPB。最后，SPA和SPB的融合输出被传递到后续阶段。

3 结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述