论文题目:具有辅助引导功能的对比扩散模型用于从粗到细的 PET 重建
论文地址:https://arxiv.org/pdf/2308.10157v1.pdf
项目地址:github
这篇论文主要介绍了一种用于正电子发射断层扫描(PET)图像重建的新框架,旨在从低剂量PET(LPET)图像中重建出高质量的标准剂量PET(SPET)图像,同时减少对人体的辐射暴露。
摘要
该论文提出了一种基于对比扩散模型(Contrastive Diffusion Model)并结合辅助引导(Auxiliary Guidance)的粗到细(Coarse-to-Fine)PET重建框架。这种框架包括一个粗预测模块(Coarse Prediction Module, CPM)和一个迭代细化模块(Iterative Refinement Module, IRM)。CPM通过确定性过程生成粗PET图像,而IRM则迭代地采样残差。通过将大部分计算开销委托给CPM,显著提高了整体采样速度。此外,提出了两种额外策略,即辅助引导策略和对比扩散策略,并将其集成到重建过程中,以增强LPET图像与重建PET(RPET)图像之间的对应关系,进一步提高临床可靠性。在两个人类大脑PET数据集上的广泛实验表明,该方法优于现有的PET重建方法。
引言
介绍了PET的重要性以及标准剂量与低剂量PET图像的区别。指出了生成对抗网络(GANs)在PET图像重建中的广泛应用,但也存在训练不稳定和可能导致模式崩溃的问题。提出了基于似然的生成模型作为GANs的替代方案,并特别强调了扩散概率模型(DPMs)的优势。
背景知识
详细解释了扩散概率模型(DPMs)的工作原理,包括前向过程和反向过程,以及条件DPMs如何结合条件信息进行图像重建。
方法论
论文提出了一个包含CPM和IRM的框架。CPM生成粗略的PET图像,IRM迭代细化这一图像。提出了辅助引导策略和对比扩散策略来增强LPET和RPET之间的对应关系。
3.1 粗到细框架
介绍了CPM和IRM的工作原理,以及如何通过结合粗略预测和残差来生成高质量的RPET图像。
CPM(Coarse Prediction Module,粗预测模块):
- CPM负责从低剂量PET图像(LPET)生成一个粗略的PET图像预测(xcp)。
- 这一过程是确定性的,只调用一次确定性预测网络Pθ。
IRM(Iterative Refinement Module,迭代细化模块):
- IRM是DPMs的逆过程,它迭代地采样粗略预测与标准剂量PET图像(SPET)之间的残差。
- 通过迭代过程,逐步细化图像,直到获得最终的重建PET图像(y')。
计算开销分配:
- 为了加快IRM的采样速度,将大部分计算负担分配给CPM,希望在初期就缩小粗略预测与SPET之间的差距。
- CPM的网络架构比IRM中的去噪网络Dθ更大,因为CPM只调用一次,而Dθ在推理过程中会被多次调用。
3.2 辅助引导策略
详细描述了如何通过引入邻近轴向切片(NAS)和频谱作为辅助引导来增强输入级别的重建过程。
辅助引导的目的:
- 通过在输入级别增加辅助引导,增强LPET图像与RPET图像之间的一致性。
辅助引导的组成:
- 包括邻近轴向切片(NAS)和频谱信息。
- NAS提供了当前切片与其相邻切片之间的空间关系。
- 频谱信息在频域中施加一致性。
实现方式:
- 使用Guided ResBlock替代编码器中的ResBlock。
- 辅助引导信息xaux通过特征提取器Fθ生成特征图fkaux,然后通过1x1卷积注入到与分辨率匹配的Guided ResBlock中。
3.3 对比扩散策略
介绍了在输出级别如何使用对比学习损失(Contrastive Learning Loss, LCL)来增强LPET图像和RPET图像之间的对应关系。
策略目的:
- 在输出级别增强LPET图像与RPET图像之间的对应关系。
实现方式:
- 引入一组负样本(Neg),这些样本来自当前训练批次之外的随机选择的受试者的SPET图像。
- 对于噪声潜在残差rt,在每个时间步骤t,计算其对应的中间RPET图像(ỹ),并使其接近对应的SPET图像y,同时远离负样本。
对比学习损失(LCL):
- 定义了一种损失函数,旨在最小化训练标签y与中间RPET图像ỹ之间的差异,同时确保ỹ能够与负样本区分开来。
3.4 训练损失
提出了联合训练CPM和IRM的目标函数。
损失函数:
- 基于DPMs的训练目标LDP M,修改后用于联合训练CPM和IRM。
- 最终损失函数Ltotal结合了主要损失Lmain、辅助引导损失LNAS G、频谱引导损失Lspectrum G和对比学习损失LCL。
3.5 实施细节
提供了使用Pytorch框架和NVIDIA GeForce RTX 3090 GPU实现该方法的详细信息。
实验与结果
使用了公共脑PET数据集和内部数据集进行实验,评估了所提方法与现有方法的性能,并进行了可视化比较。
结论
总结了所提出的基于DPM的PET重建框架的优势,包括减少DPMs的计算开销和提高临床可靠性。