突破性进展！Med-Former：全新的Transformer医学图像分类架构

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

写在前面&笔者的个人理解

近年来，随着深度学习技术的飞速发展，医学图像分类领域迎来了革命性的进步。然而，现有的基于Transformer的图像分类方法在应用于医学图像时面临诸多挑战，尤其是在特征提取能力和关键信息传递效率方面。为了解决这些问题，Stony Brook University的研究团队提出了一种创新的框架——Med-Former，它包含Local-Global Transformer模块和Spatial Attention Fusion模块，显著提升了医学图像分类的性能。

论文链接：https://papers.miccai.org/miccai-2024/500-Paper0867.html

算法网络结构&技术细节梳理

研究背景

医学图像分类在计算机辅助诊断(CAD)系统的发展中扮演着关键角色，但同时也面临着疾病复杂性带来的挑战。传统的卷积神经网络(CNN)在全局上下文信息提取方面存在局限。为了克服这些限制，研究者们引入了Inception网络、Residual网络和DenseNets等，但这些网络仍然无法有效聚焦于医学图像分类中的关键区域。

算法

概述

图1展示了Med-Former架构，包括一个块划分层、一个线性嵌入层、LGT模块、块合并层、SAF模块和一个用于分类的MLP。块划分层将输入图像划分为大小为的块，其中表示块的宽度或高度。这些块通过嵌入阶段的线性嵌入层处理，然后由LGT模块处理并传递到后续阶段。后续阶段包括块合并层、LGT模块和SAF模块。每个阶段使用块合并层对输入特征图进行下采样。SAF模块用于融合前一阶段的SAF模块和当前阶段的LGT模块的输出，改善关键特征传播的连续性并减少信息丢失。第0阶段与K个连续阶段略有不同，它融合了来自嵌入阶段的LGT模块和当前阶段的LGT模块的输出，从而增强了对输入图像的上下文理解。