沈定刚教授团队的一项工作,2022年该项工作以论文形式被miccai会议接收,图像配准与重建部分。
用PET合成CT,是一项跨模态学习工作,此处将跨模态学习拓展到了双域,加了一致约束,并最终设计出了一个PET和CT之间的循环映射框架,不仅可以用于PET合成CT、还能用CT合成PET,详细如下。
在本文中,提出了一种双域PET-CT合成框架,用于在图像和正弦图域中进行合成。这是首次在跨模态图像合成任务中利用双域信息,尤其是PET-CT合成。具体而言,设计了图像域网络和投影域网络,分别从相应的PET图像和正弦图合成CT图像和正弦图像。图像域和投影域可以通过前向投影(FP)和滤波后向投影(FBP)连接。为了进一步帮助PET到CT合成任务具有结构一致性,设计了次级CT到PET合成任务,以与主要PET到CT-任务协作,以构建具有多个闭合循环的双向映射框架。这些闭合循环可以用作循环一致性损失,以联合训练所有网络以实现更好的综合性能。考虑到联合训练这些具有可能不稳定收敛性的网络的困难,进一步提出了一种具有双域一致性和循环一致性的两阶段训练策略,以逐步建立PET和CT之间、两个域之间以及两个合成方向之间的连接。在真实临床PET-CT数据上进行的大量实验证明了提出框架的有效性,与最先进的方法相比,该框架具有显著的性能改进。
如图所示,所提出的框架通过四个网络在图像和投影域内执行双向合成,PET到CT图像合成网络、CT到PET图像合成网络
、PET到CT投影合成网络
和CT到PET投影合成网
。每个网络都被设计为学习各自图像和投影域中跨模态(即PET和CT)的映射。图像域和投影域可以通过正向投影(F)操作和滤波后的反向投影(F‘) 操作。
上图是提出的双域PET-CT合成框架的概述。第一张图说明了双域和两种模态之间的联系。第二张图说明了总体框架架构。第三张图说明了第一阶段中的双域一致性。第四张图说明第二阶段框架中的循环一致性。
仍如上图所示,在我们提出的框架中设计了四个网络。考虑到由于大量网络参数和不同的网络收敛特性,直接训练所有网络具有挑战性,提出了一种两阶段训练策略来优化框架,包括双域一致性(stage1)和循环一致性(stage2)。更具体地,stage1旨在通过双域一致性(即,图像域和投影域)生成目标图像。然后,为了进一步优化框架,提出了具有三个周期的第stage2,以确保不同领域和数据模式(即PET和CT)之间更好的信息一致性。
stage1:双域一致性
第1阶段旨在通过双域建立两种模态之间的映射。以PET到CT合成为例。给定一个PET图像x_pet,交替的训练和
,生成双域下的CT数据(CT正弦图和CT图像)。进一步采用了双域一致性,以确保它们可以相互促进,从而实现更好的总体性能。为了训练
,固定
的参数,并使用真值CT图像和投影域网络的输出
作为监督。训练网络
的损失函数可定义如下:
其中λ1是平衡两项重要性的超参数。为了训练投影域网络,我们固定图像域网络
的参数,并使用真值CT正弦图和图像域网络
的输出作为监督。训练网络
的损失函数可以定义如下:
其中λ2是平衡两项重要性的超参数。这样,我们可以通过优化两个方程来建立双域中两种模态之间的映射。
类似地,对于CT到PET合成任务,我们交替训练图像域网络和投影域网络
。训练两个网络的损失函数定义如下:
其中λ3和λ4是超参数,用于平衡损失函数中两项的重要性。
stage2:周期一致性。
尽管在阶段1中已经建立了双域中的两个模态映射,但不能保证两个域和两个模态之间的循环一致性。因此,如图最上面的图所示,设计了具有三个周期一致损失的第二阶段,基于这样的直觉,如果从一个域/模态转换到另一个域,然后再转换回来,应该到达起点。具体地说,由于两个原因,只训练图像域网络(即和
)并固定投影域网络的参数(即
和
)。第一个原因是,投影域网络在第1阶段得到了良好的训练,更重要的是,它们在训练中仅用作损失函数,并且不会在测试阶段使用。第二个原因是,与仅训练图像域网络的情况相比,在阶段2中训练四个网络将带来更多的计算成本。
在第二阶段,还采用了另一种培训策略。为了训练网络,我们固定了其他三个网络的参数。此外,我们还设计了一个图像域循环一致性损失(循环1)和两个跨域循环一致损失(循环2和循环3)。具体地,循环1表示PET和CT图像之间的循环映射,并且可训练参数在两个方向映射(即PET到CT或CT到PET)中是相同的。例如,我们使用PET图像作为起点。首先,PET图像经过网络
以获得合成CT图像,然后合成CT图像经过网络
以获得重建的PET图像。
假定重建的PET图像与输入的PET相同。此外,两个跨域循环是在两个方向上跨图像域和投影域的循环。对于PET到CT映射的第2周期,我们使用PET图像作为起点。首先,PET图像通过网络获得合成CT图像。然后,FP操作算子将CT图像投影到CT正弦图。并且,合成的CT正弦图通过网络
得到合成的PET正弦图。
最后,FBP从合成的PET正弦图重建PET图像。重建的PET图像也应与输入PET图像相同。因此,列车网络的损耗函数可以描述如下:
对于CT到PET映射的循环3,我们使用CT图像作为起点,通过循环一致性损失来训练网络。其他三个网络的参数在此周期固定。损失函数可描述如下
在等式5和6中,第一项是成对图像重建损失。第二项和第三项分别是图像域循环一致性损失和跨域循环一致损失。ξ1、ξ3和ξ2、ξ4分别是平衡两个周期一致损失重要性的超参数。
在提出的框架中,使用可以捕获全局信息的RU-Net作为图像域合成网络(即和
),并使用可以保留大部分详细信息的完全连接网络(FCN)作为投影域网络(即
和
)。
当前工作结果:
pet合成ct,psnr在38.5;ct合成pet,psnr在36.2;其实都不算特别高,难度在于该框架能同时实现pet和ct之间的双向映射,若但刷单向网络,psnr起码再上个5。
自己的工作完成以后,后续可以关注该研究方向的工作。
[1]Zhang J, Cui Z, Jiang C, et al. Mapping in Cycles: Dual-Domain PET-CT Synthesis Framework with Cycle-Consistent Constraints[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022: 758-767.
论文目前无链接,在miccai2022论文集图像配准与重建部分中看的原文。