医图顶会 MICCAI‘24 | 向扩散模型中引入先验知识，实现疾病进展预测_通过潜在扩散和先验知识增强时空疾病进展模型-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/145282897

论文信息

题目：Enhancing Spatiotemporal Disease Progression Models via Latent Diffusion and Prior Knowledge

通过潜在扩散和先验知识增强时空疾病进展模型

源码：https://github.com/LemuelPuglisi/BrLP

摘要

作者在这项工作中引入了一种名为 Brain Latent Progression (BrLP) 的新型时空疾病进展模型，该模型基于潜在扩散。BrLP 旨在预测个体水平上 3D 脑 MRI 的疾病演变。现有的深度生成模型主要依赖数据驱动，在疾病进展学习方面面临挑战。BrLP 通过整合疾病模型的先验知识来提高预测的准确性。为此，我们提出将一个辅助模型整合进来，该模型可以推断不同大脑区域的体积变化。此外，我们还引入了 Latent Average Stabilization (LAS)，这是一种提高预测进展时空一致性的新技术。BrLP 在包含来自三个公开可用的阿尔茨海默病 (AD) 纵向研究的 2,805 名受试者的 11,730 个 T1 加权脑 MRI 的大型数据集上进行训练和评估。在我们的实验中，我们将 BrLP 生成的 MRI 扫描与受试者的实际随访 MRI 进行比较，无论是横断面还是纵向设置。BrLP 显示出比现有方法有显著改进，在整个 AD 相关大脑区域的体积准确性提高了 22%，与真实扫描的图像相似性提高了 43%。BrLP 能够在受试者水平生成条件化的 3D 扫描，并且通过整合先验知识来提高准确性的新颖性，代表了疾病进展建模的重大进步，为精准医疗开辟了新的途径。B

关键字

疾病进展 · 扩散模型 · 脑 MRI

3 方法 - Brain Latent Progression (BrLP)

我们现在介绍 BrLP 的架构，包括四个关键组件：LDM、ControlNet、辅助模型和 LAS 块，每个组件在后续段落中描述。这四个组件，在图 1 中总结，共同解决了引言中概述的挑战。特别是，LDM 设计为生成符合特定协变量的随机 3D 脑 MRI，而 ControlNet 旨在将这些 MRI 扫描专门化到受试者的特定解剖结构。此外，辅助模型利用疾病的先验知识来提高预测特定大脑区域体积变化的精度。最后，LAS 块在推理过程中用于提高时空一致性。有关训练过程和超参数设置的详细信息，请参见表 1。

LDM - 学习脑 MRI 分布。在 [12] 的基础上，我们训练了一个 LDM，旨在生成反映特定协变量的 3D 脑 MRI，其中包括受试者特定的元数据（年龄、性别和认知状态），而包括与 AD 进展相关的进展相关指标，例如大脑区域（海马体、大脑皮层、杏仁核、大脑白质和侧脑室）的体积 [13]。LDM 的构建是一个两阶段过程。最初，我们训练了一个自编码器 ()（图 1 中的块 A），旨在为我们数据集中的每个脑 MRI 生产潜在表示。随后，我们训练了一个条件 UNet（图 1 中的块 B），表示为，其网络参数为，旨在估计从到的反向扩散步骤中所需的噪声，如第 2 节所述。我们通过最小化损失（公式 1）来训练。协变量通过与 [16] 一致的交叉注意力机制作为条件整合到网络中。生成过程首先对随机高斯噪声进行采样，然后迭代地反转每个扩散步骤，对于。解码最终步骤的输出得到一个合成的脑 MRI ，遵循指定的协变量。

ControlNet - 受试者脑 MRI 条件化。LDM 仅通过协变量提供有限程度的控制生成的脑 MRI，并且不允许对个体解剖结构进行条件化。这个块的目的是扩展 LDM 的能力，以包含这种额外的控制。为此，我们使用 ControlNet [27]（图 1 中的块 C），这是一个与 LDM 配合工作的神经网络。我们将 ControlNet 和 LDM 概念化为一个统一的网络，其中表示 LDM 的固定网络参数，表示 ControlNet 的可训练网络参数。与 LDM 一样，仍然用于预测反向扩散步骤中的噪声，现在整合了作为条件，以包含目标大脑的结构。为了训练 ControlNet，我们使用来自同一患者在不同年龄 A < B 时拍摄的脑 MRI 对的潜在表示和。与相关的协变量是已知的，并用作目标协变量。每次训练迭代包括：i) 采样，ii) 执行次前向扩散步骤，iii) 预测噪声以反转，以及 iv) 最小化损失（公式 1）。

提出的辅助模型 - 利用疾病先验知识。与 AD 相关的区域随着时间的流逝以不同的速率缩小或扩张 [13]。基于深度学习的时空模型努力从脑 MRI 中直接以黑箱方式学习这些进展速率，这可能非常具有挑战性。为了帮助这一过程，我们提出将有关体积变化的先验知识直接整合到我们的流程中。为此，我们利用一个辅助模型（图 1 中的块 D），能够预测与 AD 相关的区域体积随时间的变化，并通过进展相关的协变量将这些信息提供给 LDM。我们的辅助模型的选择针对两种情况，使 BrLP 灵活适用于横断面和纵向数据。对于在年龄 A 时只有一次扫描可用的受试者，我们使用回归模型来估计在年龄 B 时的体积变化。对于可以访问在年龄 A1, …, An 时的 n 次过去访问的受试者，我们使用疾病进程映射 (DCM) [18,8] 来预测，这是一个专门为疾病进展设计的模型。DCM 旨在根据受试者可用的体积变化历史提供更准确的轨迹。虽然我们使用 DCM 作为潜在的解决方案，但任何合适的疾病进展模型都可用于 BrLP。

推理过程。设为受试者在年龄 A 时的输入脑 MRI，已知受试者特定的元数据和从测量的进展相关的体积。总结在图 1 的块 E 中，为了推断年龄 B > A 时的脑 MRI ，我们执行六个步骤：i) 使用辅助模型预测进展相关的体积；ii) 将这些信息与受试者特定的元数据连接起来，形成目标协变量；iii) 计算潜在表示；iv) 对随机高斯噪声进行采样；v) 通过预测噪声来运行反向扩散过程，以反转每个扩散步骤；最后 vi) 使用解码器 D 重建预测的脑 MRI 在成像域中。这个推理过程被总结为一个紧凑的符号和。

通过提出的潜在平均稳定化 (LAS) 增强推理。初始值的变化可能导致推理过程产生的结果出现轻微差异。当在连续的时间步长进行预测时，这些差异尤其明显，表现为进展的不规则模式或非平滑过渡。因此，我们引入了 LAS（图 1 中的块 F），一种通过平均推理过程的不同结果来提高时空一致性的技术。特别是，LAS 基于以下假设：预测偏离理论均值。为了估计预期值，我们提议重复推理过程 m 次并平均结果：

与之前类似，我们对预测的扫描进行解码。整个推理过程（其中 m = 4）需要每个 MRI 在消费级 GPU 上大约 4.8 秒。

4 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述