医图顶会 MICCAI‘24 | 基于BI-Mamba的多视图胸部X光心血管疾病检测

最新推荐文章于 2025-05-08 10:49:39 发布

小马不会过河

最新推荐文章于 2025-05-08 10:49:39 发布

阅读量943

点赞数 22

文章标签：服务器运维 python 开发语言人工智能

本文链接：https://blog.csdn.net/m0_59163425/article/details/144934754

版权

论文信息

题目：Cardiovascular Disease Detection from Multi-View Chest X-rays with BI-Mamba

基于BI-Mamba的多视图胸部X光心血管疾病检测

源码：https://github.com/RPIDIAL/BI-Mamba

论文创新点

新的网络架构：作者提出了一个名为BI-Mamba的新型网络架构，该架构通过结合并行的前向和后向块来编码多视图胸部X光的长距离依赖关系。这种结构不仅能够捕捉到丰富的长距离信息，而且相比于传统的Transformer架构，BI-Mamba在图像尺寸上具有线性扩展性。
多视图图像分析的早期融合策略：受BI-Mamba在序列长度上的高效线性复杂度启发，作者提出了一种新的早期输入补丁连接策略用于多视图组合。这种早期融合方式允许BI-Mamba更有效地建模胸部X光视图之间的协同作用，从而提高疾病检测的性能。
计算效率的提升：与传统的ViTs相比，BI-Mamba在处理高分辨率输入时展现出更高的计算效率。具体来说，BI-Mamba在训练时的GPU内存分配比ResNet-50和ViT-S少了至少**30.5%**，这使得BI-Mamba在实际应用中更具可行性。

摘要

在医学影像中准确预测心血管疾病（CVD）风险对于有效的患者健康管理至关重要。先前研究表明，计算机断层扫描（CT）中的影像特征有助于预测CVD风险。然而，CT扫描涉及显著的辐射暴露，可能对患者造成不利健康影响。相比之下，胸部X光辐射水平显著较低，为患者提供了更安全的选择。这一理念激发了我们探索使用胸部X光预测CVD风险的可行性。卷积神经网络（CNN）和Transformer是计算机辅助诊断中两个成熟的网络架构。然而，由于缺乏大范围上下文建模能力或二次时间复杂度，它们在建模非常高分辨率胸部X光时面临挑战。受状态空间序列模型（SSMs）的启发，我们提出了一种新的网络架构——双向图像Mamba（BI-Mamba），以补充单向SSMs的相反方向信息。BI-Mamba利用并行的前向和后向块来编码多视图胸部X光的长距离依赖关系。我们在国家肺癌筛查试验（NLST）的10,395名受试者的图像上进行了广泛的实验。结果显示，BI-Mamba在参数大小相当的情况下，性能超过了ResNet-50和ViT-S，并在训练过程中节省了大量GPU内存。此外，BI-Mamba与CT中的先前最先进技术相比，展现出了胸部X光用于CVD风险预测的潜力。

关键字

心血管疾病检测、胸部X光、状态空间序列模型。

2 方法

作者提出的用于胸部X光CVD风险预测的模型包括输入层、一个新颖的BI-Mamba模型和一个用于输出的多层感知器（MLP）（见图1(a)）。本节首先描述了BI-Mamba中用于序列建模的状态空间模型的初步知识。然后，我们详细阐述了BI-Mamba块中的具体操作和早期融合策略的细节。最后，我们分析了所提出模型的计算复杂度。

2.1 双向图像Mamba（BI-Mamba）

初步知识状态空间模型通过常微分方程来表示动态物理系统，这些方程由(A, B, C)参数化。Mamba使用连续状态空间模型的离散形式。通过将微分积分转换为时间步长∆上的求和来实现离散化。有了这种离散化，状态空间模型可以写成递归形式，其中在t时刻的输出由在t-1时刻的隐藏状态和在t时刻的输入决定：

其中, , 和是状态矩阵。对是离散化规则。上述方程代表了图1(b)中SSM模块的核心操作。

BI-Mamba块

BI-Mamba属于状态空间序列模型（SSMs）家族，它接受令牌序列作为输入。给定一个灰度医学图像作为输入，它首先需要重新排列成一系列小补丁，其中是图像大小，是补丁数量，是补丁大小。然后，一个线性投影层将映射到补丁嵌入，其中是嵌入维度。然后初始化一个可学习的分类标记并将其放置在的中间。与ViTs中的与位置无关的不同，中间的在Mamba中被证明比左端的更好。BI-Mamba的输入表示为：

其中是输入序列和位置嵌入，是序列长度。BI-Mamba块（见图1(b)）由并行的前向和后向块组成，它们以相反的方向编码输入序列，产生基于左右上下文的表示。在前向或后向块内，首先对进行归一化并投影到两个变量中，在扩展状态维度中。是SSM模块的输入，代表输入序列。是依赖于输入序列的门控变量。

投影后的输入序列然后通过1D卷积和激活单元来创建非线性，其中。下标用于指示特定于方向块的特征或操作单元。Mamba的一个关键属性是，SSM参数是输入依赖的，与时间（即，补丁位置）和输入不变性相反，使其能够强大地建模具有大外观变化的图像。BI-Mamba通过让SSM参数(∆d, Ad, Bd, Cd)在上下文方向上进行条件化，使其更加强大。通过的线性投影和初始化参数生成SSM参数。给定∆d，通过简单的乘法离散化规则(fA, fB)来离散化(Ad, Bd)以获得方程(1)中的形式。

其中, , 和。N是SSM中的潜在维度，通常设置为一个小值（例如16）。由(Ad, Bd, Cd)参数化的SSM递归地处理输入变量沿着前向或后向方向，产生输出序列，然后通过z进行元素级乘积过滤。然后，LinearT将映射回嵌入维度D。

最终输出是和的总和，因此共同封装了从左到右和从右到左的依赖关系。最后一个BI-Mamba块的分类标记通过MLP和sigmoid函数进行投影以产生预测，然后通过交叉熵损失进行监督。

2.2 BI-Mamba用于多视图图像分析

先前的研究已经应用了不同的融合策略来整合多视图胸部X光以进行疾病检测，例如中间融合和晚期融合。受BI-Mamba在序列长度上的高效线性复杂度的启发，我们提出了一种新的早期输入补丁连接策略用于多视图组合。这种早期融合方式允许BI-Mamba充分建模胸部X光视图之间的协同作用。输入序列被重写为：

其中, 分别表示前视图U和侧视图V的补丁嵌入，。

2.3 计算复杂度

状态空间模型独立地将每个输入通道的输入映射到输出通过一个更高维度的状态h ∈ RN。这导致每个输入EN数量的有效状态。与对角线结构的A ∈ RN×N相比，在长度为L的输入上计算它们需要O(LEN)时间。相比之下，ViTs中的自注意力具有O(L^2D)的时间复杂度。由于自注意力对序列长度有二次方的扩展，因此在处理长序列时效率要低得多。按照[27]，我们将块数M设置为24，嵌入维度D设置为384，扩展状态维度E设置为768，SSM潜在维度设置为16。

3 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述