风巽·剑染春水的博客

本文介绍了基于潜在扩散的新型时空疾病进展模型—— Brain Latent Progression（BrLP）。BrLP 旨在预测个体在三维脑 MRI 上的疾病进展。为完成这一任务而开发的现有深度生成模型主要以数据驱动为主，面临学习疾病进展的挑战。BrLP 通过结合疾病模型的先验知识来增强预测的准确性，解决了这些挑战。为了实现这一点，本文建议整合一个辅助模型来推断不同脑区的体积变化。

本文提出了一种弱监督方法来生成一个疾病图像的健康版本，然后使用它来获得像素异常图。为此，本文首先使用 ACAT 生成一个大致覆盖病理区域的显著性图，然后，本文提出了一种技术，允许对这些区域进行有针对性的修改，同时保留图像的其余部分。

Transformer 倾向于过度分配注意力到无关的上下文。在这项工作中，本文引入了 DIFF Transformer，它放大了对相关上下文的注意力，同时消除了噪声。具体来说，差分注意力机制（differential attention mechanism）将注意力分数计算为两个独立的 softmax 注意力图之间的差。减法可以消除噪声，促进稀疏注意力模式的出现。

扩散模型在各种生成任务中展现了其强大的能力。然而，在医学图像分割中应用扩散模型时，仍需克服几个障碍：（1）扩散过程中条件化所需的语义特征与噪声嵌入不能很好地对齐；（2）扩散模型中使用的U-Net主干对反向扩散过程中准确像素级分割所必需的上下文信息不敏感。为了克服这些局限性，本文提出了一个交叉注意力模块来增强来自源图像的条件，并提出了一个基于 Transformer 的 U-Net，具有多尺寸窗口，用于提取不同尺度的上下文信息。

为了充分利用强大的预训练去噪扩散概率模型（DDPM），本文提出了一种名为 DiffDGSS 的新框架，旨在挖掘扩散模型的潜在表示，以实现域泛化语义分割（Domain Generalizable Semantic Segmentation, DGSS）

扩散概率模型最近在生成式图像建模中表现出了显著的性能，引起了计算机视觉界的广泛关注。然而，大量的基于扩散的研究集中在生成任务上，很少有研究将扩散模型应用于一般的医学图像分类。本文提出了第一个基于扩散的模型（称为 DiffMIC）来实现医学图像分类，DiffMIC 能够消除医学图像中的意外噪声和扰动，并稳健地捕获语义表示。为此，本文设计了一种双重条件引导策略，通过多个粒度对每个扩散步骤进行条件化，以改善逐步区域注意力。

SAM 在自然图像分割领域取得了显著的成功，但其在医学成像领域的应用遇到了挑战。具体而言，SAM 在处理低对比度、边界模糊、形态复杂和小尺寸物体的医学图像时存在困难。为了解决这些挑战，并提高 SAM 在医疗领域的性能，本文引入了一个全面的改进：首先，将一个冻结的卷积神经网络（CNN）分支作为图像编码器，通过一个新的变分注意融合模块与 SAM 的原始的 Vision Transformer（ViT）编码器协同使用。这种集成增强了模型捕获局部空间信息的能力，这在医学图像中通常是至关重要的。

本文介绍了两种主要的 DPMs 的理论，并根据扩散时间步长是离散的还是连续的进行了分类，然后对 MRI 中的 DPMs 进行了全面的综述，包括重建、图像生成、图像转译、分割、异常检测以及进一步的研究方向。最后，讨论了 DPMs 的一般局限性以及特定于MRI任务的局限性，并指出了值得进一步探索的潜在领域。

本文从数据分布的角度对以前的指导及其对进一步应用的贡献进行了分析。  为了合成有助于下游应用的样本，本文在每个采样步骤中引入不确定性指导，并设计了一个不确定性引导扩散模型。  在四个医学数据集上进行实验，在生成样本集上训练10个经典网络，为本文方法的实际贡献提供了全面的评价。此外，还为扩散模型中的一般梯度指导提供了理论保证，这将有助于进一步研究面向特定生成任务其他形式的测量指导。

TeethDreamer：一种3D牙齿重建新框架，旨在恢复上下牙齿的形状和位置，引入大型扩散模型的先验知识和3D感知特征注意力机制，重建性能表现SOTA！

本文提出了第一个去噪扩散模型在 3D 血管图生成中的工作，其是新颖的两阶段生成方法，依次对节点坐标和边进行去噪，在生成多样化、新颖且解剖学上合理的血管图方面性能表现出色。

HiDiff：一种用于医学图像分割的新型混合扩散框架，它可以协同现有判别分割模型和新型生成扩散模型的优势，在腹部器官、脑肿瘤、息肉和视网膜血管分割数据集上性能表现 SOTA ！

获得高精度或抠图注释是非常困难和费力的，为了解决这一挑战，本文提出了 DiffuMatting，它继承了扩散强大的万物生成能力，并赋予了“matting anything”的能力。

本文提出一种称为生成式元胞自动机 (Generative Cellular Automata，GeCA) 的新模型系列，其灵感来自于生物体从单细胞进化而来的过程，显著提高了11 种不同眼科疾病分类任务的表现。

MedCLIP-SAM：一种通用医学图像分割新框架，将 CLIP 和 SAM 基础模型相结合，以获得基于文本提示的通用医学图像分割，并提出 DHN-NCE 新损失函数，性能表现出色~

扩散模型能够实现高质量的医学图像生成，但在生成的图像中实现解剖约束具有挑战性。为此，本文提出了一种基于扩散模型的方法，通过支持解剖可控的医学图像生成，在每个采样步骤中遵循多类解剖分割 mask。此外，还引入了一种随机 mask 消融训练算法，以实现对选定的解剖约束组合的调节，同时允许其他解剖区域的灵活性。本文将所提出的方法 SegGuidedDiff 与乳腺MRI和腹部/颈部到骨盆CT数据集的现有方法进行了比较，这些数据集具有广泛的解剖目标。

非配对医学图像合成的目的是为准确的临床诊断提供补充信息，并解决获得对齐的多模态医学扫描的挑战。由于Transformer能够捕获长期依赖关系，他们在图像转换任务中表现非常出色，但只是在监督训练中有效，在非配对图像转换中性能下降，特别是在合成结构细节方面。本文的经验证明，在缺乏成对数据和强归纳偏差的情况下，Transformer会收敛到非最优解。

扩散模型已经证明了它们在各种生成任务中的有效性。然而，当应用于医学图像分割时，这些模型遇到了一些挑战，包括大量的资源和时间需求。他们还需要一个多步骤的反向过程和多个样本来产生可靠的预测。为了解决这些挑战，本文引入了第一个 latent diffusion 分割模型 SDSeg，建立在 stable diffusion（SD）上。SDSeg 采用了一个简单的 latent 估计策略，以促进单步反向过程，并利用潜在融合连接来消除对多个样本的必要性。

表1将综述的扩散模型论文根据其直接使用或受启发于 (1) DDPMs，(2)NCSNs，(3) SDEs的算法进行了分类。此外，表1突出了每个算法的关键概念和目标，并代表了在未来基于回顾论文的研究中可以调查和使用的实际用例。显然，调节反向扩散过程以获得期望输出是研究最多的方法之一。这个引导过程可以使用不同的约束类型来完成。

去噪扩散模型（Denoising diffusion models）是一类生成模型，最近在各种深度学习问题中引起了极大的兴趣。扩散概率模型定义了一个正向扩散阶段，在这个阶段中，输入数据通过加入高斯噪声在几个步骤中逐渐受到扰动，然后学习反向扩散过程以从有噪声的数据样本中恢复所需的无噪声数据。扩散模型因其强大的模式覆盖和生成样本的质量而被广泛赞赏，尽管其已知的计算负担。

本节中，展示了一些典型的 CLIP 驱动的应用，以展示在CLIP帮助下的性能改进。虽然这些研究侧重于各种任务，但它们通常表明，预训练的 CLIP 的优势在于其解释和传达人类知识的能力。在一些研究中，将描述性文本 prompts 输入到 CLIP 中，实验结果表明 CLIP 能够熟练地理解嵌入在 prompts 中的语义，并有效地将语义传递给框架内的其他模块。

CLIP（Contrastive Language-Image Pre-training）是一种简单而有效的预训练范式，它成功地将富含语义的文本监督引入视觉模型，并因其通用性和可解释性在各种任务中显示出良好的效果（连接文本与图像其在医学图像领域大放光彩，不仅可作为医学图像和文本对齐的预训练范式，还可作为各种临床任务的预训练关键部分（鼓掌本文对医学成像领域内的CLIP范式进行深入探索，包括改进的CLIP预训练和基于CLIP的应用。

鉴于prompt的灵活性，foundation models已成为自然语言处理和计算机视觉领域中的主导力量。最近SAM的兴起，使得prompt-driven范式在图像分割领域显著发展，进而引入了大量以前未开发的功能。但医学图像与自然图像还是存在较大差异，SAM应用于医学图像的可行性尚未可知。在本文中，作者进行了全面综述，介绍医学图像分割任务中SAM的有效性，包括基线测试和方法调整，还探索了SAM在医学图像分割中的潜在研究方向。