BrLP：Enhancing Spatiotemporal Disease Progression Models via Latent Diffusion and Prior Knowledge

这篇文章提出了一种名为脑潜在进展模型（Brain Latent Progression, BrLP）的新型时空疾病进展模型，旨在通过3D脑部MRI预测个体层面的疾病演变。BrLP结合了潜在扩散模型（LDM）和ControlNet，并引入了一个辅助模型来推断不同脑区的体积变化，从而整合疾病进展的先验知识。此外，文章还提出了**潜在平均稳定化（LAS）**技术，用于提高预测进展的时空一致性。

BrLP在一个包含11,730张T1加权脑部MRI的大规模数据集上进行了训练和评估，数据来自2,805名受试者，涵盖三个公开的阿尔茨海默病（AD）纵向研究。实验结果表明，BrLP在AD相关脑区的体积准确性上提高了22%，图像与真实扫描的相似性提高了43%，显著优于现有的方法。

文章的主要贡献包括：

1. 结合LDM和ControlNet生成个体化的脑部MRI。

2. 通过辅助模型整合疾病进展的先验知识。

3. 提出LAS技术以提高时空一致性。

4. 使用潜在表示减少处理3D扫描的内存需求。

BrLP的代码已公开，为精准医学和疾病进展建模提供了新的工具和方法。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目地址在这里，如下所示：

摘要

在本研究中，我们提出了脑潜在进展模型（Brain Latent Progression, BrLP），这是一种基于潜在扩散的新型时空疾病进展模型。BrLP旨在通过3D脑部MRI预测个体层面的疾病演变。现有的深度生成模型主要依赖数据驱动，在学习疾病进展方面面临挑战。BrLP通过整合来自疾病模型的先验知识来提高预测的准确性，从而应对这些挑战。为此，我们提出了一个辅助模型，用于推断不同脑区的体积变化。此外，我们还引入了潜在平均稳定化（Latent Average Stabilization, LAS），这是一种新技术，用于提高预测进展的时空一致性。BrLP在一个包含11,730张T1加权脑部MRI的大规模数据集上进行了训练和评估，这些数据来自2,805名受试者，收集自三个公开的阿尔茨海默病（AD）纵向研究。在实验中，我们将BrLP生成的MRI扫描与受试者的实际随访MRI进行了比较，涵盖了横断面和纵向设置。BrLP在现有方法的基础上表现出显著改进，AD相关脑区的体积准确性提高了22%，图像与真实扫描的相似性提高了43%。BrLP能够生成个体层面的条件化3D扫描，并结合先验知识提高准确性，代表了疾病进展建模的重大进展，为精准医学开辟了新的途径。

关键词：疾病进展，扩散模型，脑部MRI

1 引言

神经退行性疾病是全球性的健康挑战，影响着数百万人，并导致广泛的发病率和死亡率。随着人口老龄化的加剧，医疗系统和社会面临更大的压力。此外，神经退行性疾病的进展具有异质性，不同的分子亚型会导致多种神经病理学模式[20]。特别是，这些疾病以不同的速率和机制影响脑区，突显了其病理生理学的复杂性[25]。因此，我们需要开发新的方法来更好地理解疾病的发展，从而为更精准和个性化的治疗策略铺平道路。

最初的方法主要基于标量生物标志物进行疾病进展建模[26, 10]。尽管这些生物标志物的表示较为粗糙，但它们已被用于增强我们对疾病的理解[4, 22]。这些努力的自然演变是开发时空模型，这些模型使用丰富的、高维的影像生物标志物直接在医学扫描上表示疾病进展。与标量生物标志物不同，这些解决方案有助于可视化和精确定位结构变化的复杂模式，从而提供对疾病动态的更详细理解。最近的方法利用了深度生成技术，如变分自编码器（VAEs）[17]、生成对抗网络（GANs）[15, 23, 7, 28, 14]以及最近的扩散模型[24]，以推断个体层面的疾病进展。特别是，DaniNet[15]是一种最先进的模型，它结合了对抗学习和生物学约束，提供个体化的脑部MRI预测。为了减少内存需求，DaniNet生成2D切片，然后通过超分辨率模块将其组装成3D体积。另一种方法是CounterSynth[14]，这是一种基于GAN的反事实合成方法，可以模拟脑部MRI中的各种条件，包括衰老和疾病进展。最后，SADM[24]是一种扩散模型，旨在通过使用一系列先前的MRI扫描进行自回归采样来生成纵向扫描。

这些方法的主要挑战包括：1）通过条件化于受试者特定的元数据来提高个体化；2）在可用时使用纵向扫描；3）增强时空一致性，以实现跨空间和时间维度的平滑进展；4）管理由高分辨率3D医学图像使用带来的高内存需求[2]。具体来说，DaniNet[15]和CounterSynth[14]无法直接使用可用的纵向数据。SADM[24]无法结合受试者特定元数据的条件化，并且内存需求较高。最后，CounterSynth和SADM都没有提供强制时空一致性的解决方案。

针对这些挑战，我们提出了BrLP，这是一种新型的时空模型，具有以下几个关键贡献：i）我们提出结合LDM[16]和ControlNet[27]来生成基于可用受试者数据的个体化脑部MRI，解决了挑战1；ii）我们提出通过使用辅助模型来整合疾病进展的先验知识，该模型旨在推断不同脑区的体积变化，从而在可用时使用纵向数据，解决了挑战2；iii）我们提出了LAS技术，用于提高预测进展的时空一致性，解决了挑战3；iv）我们使用脑部MRI的潜在表示来限制处理3D扫描的内存需求，解决了挑战4。

我们通过训练BrLP来评估其学习不同认知状态个体（认知正常（CN）、轻度认知障碍（MCI）和阿尔茨海默病）脑部结构变化的能力。为此，我们使用了一个包含11,730张T1加权脑部MRI的大规模数据集，这些数据来自2,805名受试者，收集自三个公开的AD纵向研究。据我们所知，我们是第一个提出将疾病进展的先验知识整合到图像生成过程中的3D条件生成模型的研究。

2 方法

2.1 背景 - 扩散模型

2.2 提出的流程 - 脑潜在进展模型（BrLP）

我们现在介绍BrLP的架构，包括四个关键组件：LDM、ControlNet、辅助模型和LAS块，每个组件将在后续段落中详细描述。这四个组件在图1中进行了总结，共同解决了引言中概述的挑战。特别是，LDM旨在生成符合特定协变量的随机3D脑部MRI，而ControlNet旨在将这些MRI扫描专门化为受试者的特定解剖结构。此外，辅助模型利用疾病进展的先验知识来提高预测特定脑区体积变化的精度。最后，LAS块在推理过程中用于提高时空一致性。有关训练过程和超参数设置的详细信息见补充材料中的表1。

2.2.1 LDM - 学习脑部MRI的分布

2.2.2 ControlNet - 条件化于受试者脑部MRI

2.2.3 提出的辅助模型 - 利用疾病先验知识

2.2.4 推理过程

2.2.5 通过提出的潜在平均稳定化（LAS）增强推理

3 实验与结果

数据。我们收集了一个包含11,730张T1加权脑部MRI扫描的大规模数据集，来自2,805名受试者，涵盖多个公开的纵向研究：ADNI 1/2/3/GO（1,990名受试者）[11]、OASIS-3（573名受试者）[9]和AIBL（242名受试者）[3]。每名受试者至少有两次MRI，每次扫描在不同的访问中获取。所有数据集的年龄、性别和认知状态均可用。平均年龄为74±7岁，53%的受试者为男性。根据最后一次访问，43.8%的受试者被分类为CN，25.7%表现出或发展为MCI，30.5%表现出或发展为AD。我们将数据随机分为训练集（80%）、验证集（5%）和测试集（15%），且没有重叠的受试者。验证集用于训练期间的早期停止。每张脑部MRI经过以下预处理：N4偏置场校正[21]、去颅骨[6]、仿射配准到MNI空间、强度归一化[19]和重采样到1.5 mm³。用于进展相关协变量和后续评估的体积使用SynthSeg 2.0[1]计算，并表示为总脑体积的百分比，以考虑个体差异。

评估指标。我们使用基于图像和体积的指标来评估BrLP，将预测的脑部MRI扫描与受试者的实际随访扫描进行比较。特别是，均方误差（MSE）和结构相似性指数（SSIM）用于评估扫描之间的图像相似性。而AD相关区域（海马体、杏仁核、侧脑室、脑脊液（CSF）和丘脑）的体积指标评估模型在跟踪疾病进展方面的准确性。具体来说，结果中报告了实际随访扫描与生成的脑部MRI之间的平均绝对误差（MAE）。值得注意的是，CSF和丘脑被排除在进展相关协变量之外，使我们能够分析预测中的无条件区域。

消融研究

我们进行了消融研究，以评估以下贡献：i）辅助模型（AUX）和ii）提出的时空一致性技术（LAS）。结果见表1顶部。没有AUX和LAS的BrLP被称为“基础”。实验表明，LAS和AUX都提高了性能，分别减少了5%和4%的体积误差。补充材料中的图2提供了LAS改进的示例。同时使用AUX和LAS提供了最佳设置，平均减少了7%的体积误差。此最佳配置用于与其他方法的比较，唯一的区别是我们流程中使用的辅助模型的类型。

与基线方法的比较

我们将现有方法分为单图像（横断面）和序列感知（纵向）方法。单图像方法，如DaniNet[15]和CounterSynth[14]，仅使用一张脑部MRI作为输入来预测进展。序列感知方法，如SADM[24]，利用一系列先前的脑部MRI作为输入。由于SADM的内存需求较大，我们使用LDM重新实现了它，以便在我们的实验中进行比较。我们称之为Latent-SADM。为了评估所有这些方法，我们进行了两个独立的实验。在单图像方法中，我们基于受试者的初始扫描预测所有后续MRI。对于序列感知方法，我们使用受试者MRI访问的前半部分来预测后半部分的所有后续MRI。在单图像设置中，我们的方法使用线性模型（LM）作为辅助模型。相比之下，在序列感知实验中，我们使用序列中最后一张可用的MRI作为BrLP的输入，并在受试者访问的前半部分上拟合逻辑DCM作为辅助模型。

实验结果见表1。我们观察到，与其他基线方法相比，MSE平均减少了62%（标准差=10%），SSIM平均增加了43%（标准差=18%）。在不同脑区的体积测量方面，我们的方法比DaniNet提高了17.55%（标准差=8.79%），比CounterSynth提高了23.40%（标准差=28.85%），比Latent-SADM提高了24.14%（标准差=10.63%）。我们没有观察到在条件化和非条件化区域中获得的改进有显著差异。

4 结论

在本研究中，我们提出了BrLP，这是一种3D时空模型，能够通过预测个体层面的3D脑部MRI演变来准确捕捉神经退行性疾病的进展模式。虽然我们展示了我们的流程在脑部MRI上的应用，但BrLP具有潜力用于其他成像模态，并用于建模不同的进展性疾病。重要的是，我们的框架可以轻松扩展以整合额外的协变量，如遗传数据，从而为我们的预测提供进一步的个性化见解。