[阅读笔记]循环映射：具有循环一致约束的双域PET-CT合成框架

小成今天拔头发了吗

已于 2022-12-15 09:12:53 修改

阅读量735

点赞数

文章标签：计算机视觉深度学习

于 2022-11-02 20:30:53 首次发布

本文链接：https://blog.csdn.net/weixin_45640940/article/details/127657271

版权

沈定刚教授团队的一项工作，2022年该项工作以论文形式被miccai会议接收，图像配准与重建部分。

用PET合成CT，是一项跨模态学习工作，此处将跨模态学习拓展到了双域，加了一致约束，并最终设计出了一个PET和CT之间的循环映射框架，不仅可以用于PET合成CT、还能用CT合成PET，详细如下。

在本文中，提出了一种双域PET-CT合成框架，用于在图像和正弦图域中进行合成。这是首次在跨模态图像合成任务中利用双域信息，尤其是PET-CT合成。具体而言，设计了图像域网络和投影域网络，分别从相应的PET图像和正弦图合成CT图像和正弦图像。图像域和投影域可以通过前向投影（FP）和滤波后向投影（FBP）连接。为了进一步帮助PET到CT合成任务具有结构一致性，设计了次级CT到PET合成任务，以与主要PET到CT-任务协作，以构建具有多个闭合循环的双向映射框架。这些闭合循环可以用作循环一致性损失，以联合训练所有网络以实现更好的综合性能。考虑到联合训练这些具有可能不稳定收敛性的网络的困难，进一步提出了一种具有双域一致性和循环一致性的两阶段训练策略，以逐步建立PET和CT之间、两个域之间以及两个合成方向之间的连接。在真实临床PET-CT数据上进行的大量实验证明了提出框架的有效性，与最先进的方法相比，该框架具有显著的性能改进。

如图所示，所提出的框架通过四个网络在图像和投影域内执行双向合成，PET到CT图像合成网络 $G_{CT}^{img}$ 、CT到PET图像合成网络 $G_{PET}^{img}$ 、PET到CT投影合成网络 $G_{CT}^{sin}$ 和CT到PET投影合成网 $G_{PET}^{sin}$ 。每个网络都被设计为学习各自图像和投影域中跨模态（即PET和CT）的映射。图像域和投影域可以通过正向投影（F）操作和滤波后的反向投影（F‘）操作。

上图是提出的双域PET-CT合成框架的概述。第一张图说明了双域和两种模态之间的联系。第二张图说明了总体框架架构。第三张图说明了第一阶段中的双域一致性。第四张图说明第二阶段框架中的循环一致性。

仍如上图所示，在我们提出的框架中设计了四个网络。考虑到由于大量网络参数和不同的网络收敛特性，直接训练所有网络具有挑战性，提出了一种两阶段训练策略来优化框架，包括双域一致性（stage1）和循环一致性（stage2）。更具体地，stage1旨在通过双域一致性（即，图像域和投影域）生成目标图像。然后，为了进一步优化框架，提出了具有三个周期的第stage2，以确保不同领域和数据模式（即PET和CT）之间更好的信息一致性。

stage1：双域一致性

第1阶段旨在通过双域建立两种模态之间的映射。以PET到CT合成为例。给定一个PET图像x_pet，交替的训练 $G_{CT}^{sin}$ 和 $G_{CT}^{img}$ ，生成双域下的CT数据（CT正弦图和CT图像）。进一步采用了双域一致性，以确保它们可以相互促进，从而实现更好的总体性能。为了训练 $G_{CT}^{img}$ ，固定 $G_{CT}^{sin}$ 的参数，并使用真值CT图像和投影域网络的输出 $G_{CT}^{sin}$ 作为监督。训练网络 $G_{CT}^{img}$ 的损失函数可定义如下：

其中λ1是平衡两项重要性的超参数。为了训练投影域网络 $G_{CT}^{sin}$ ，我们固定图像域网络 $G_{CT}^{img}$ 的参数，并使用真值CT正弦图和图像域网络 $G_{CT}^{img}$ 的输出作为监督。训练网络 $G_{CT}^{sin}$ 的损失函数可以定义如下：

其中λ2是平衡两项重要性的超参数。这样，我们可以通过优化两个方程来建立双域中两种模态之间的映射。

类似地，对于CT到PET合成任务，我们交替训练图像域网络 $G_{PET}^{img}$ 和投影域网络 $G_{PET}^{sin}$ 。训练两个网络的损失函数定义如下：

其中λ3和λ4是超参数，用于平衡损失函数中两项的重要性。

stage2：周期一致性。

尽管在阶段1中已经建立了双域中的两个模态映射，但不能保证两个域和两个模态之间的循环一致性。因此，如图最上面的图所示，设计了具有三个周期一致损失的第二阶段，基于这样的直觉，如果从一个域/模态转换到另一个域，然后再转换回来，应该到达起点。具体地说，由于两个原因，只训练图像域网络（即 $G_{PET}^{img}$ 和 $G_{CT}^{img}$ ）并固定投影域网络的参数（即 $G_{CT}^{sin}$ 和 $G_{PET}^{sin}$ ）。第一个原因是，投影域网络在第1阶段得到了良好的训练，更重要的是，它们在训练中仅用作损失函数，并且不会在测试阶段使用。第二个原因是，与仅训练图像域网络的情况相比，在阶段2中训练四个网络将带来更多的计算成本。

在第二阶段，还采用了另一种培训策略。为了训练 $G_{CT}^{img}$ 网络，我们固定了其他三个网络的参数。此外，我们还设计了一个图像域循环一致性损失（循环1）和两个跨域循环一致损失（循环2和循环3）。具体地，循环1表示PET和CT图像之间的循环映射，并且可训练参数在两个方向映射（即PET到CT或CT到PET）中是相同的。例如，我们使用PET图像作为起点。首先，PET图像经过网络 $G_{CT}^{img}$ 以获得合成CT图像，然后合成CT图像经过网络 $G_{PET}^{img}$ 以获得重建的PET图像。

假定重建的PET图像与输入的PET相同。此外，两个跨域循环是在两个方向上跨图像域和投影域的循环。对于PET到CT映射的第2周期，我们使用PET图像作为起点。首先，PET图像通过网络 $G_{CT}^{img}$ 获得合成CT图像。然后，FP操作算子将CT图像投影到CT正弦图。并且，合成的CT正弦图通过网络 $G_{PET}^{sin}$ 得到合成的PET正弦图。

最后，FBP从合成的PET正弦图重建PET图像。重建的PET图像也应与输入PET图像相同。因此，列车网络 $G_{CT}^{img}$ 的损耗函数可以描述如下：

对于CT到PET映射的循环3，我们使用CT图像作为起点，通过循环一致性损失来训练网络 $G_{PET}^{img}$ 。其他三个网络的参数在此周期固定。损失函数可描述如下

在等式5和6中，第一项是成对图像重建损失。第二项和第三项分别是图像域循环一致性损失和跨域循环一致损失。ξ1、ξ3和ξ2、ξ4分别是平衡两个周期一致损失重要性的超参数。

在提出的框架中，使用可以捕获全局信息的RU-Net作为图像域合成网络（即 $G_{CT}^{img}$ 和 $G_{PET}^{img}$ ），并使用可以保留大部分详细信息的完全连接网络（FCN）作为投影域网络（即 $G_{CT}^{sin}$ 和 $G_{PET}^{sin}$ ）。

当前工作结果：

pet合成ct，psnr在38.5；ct合成pet，psnr在36.2；其实都不算特别高，难度在于该框架能同时实现pet和ct之间的双向映射，若但刷单向网络，psnr起码再上个5。

自己的工作完成以后，后续可以关注该研究方向的工作。

[1]Zhang J, Cui Z, Jiang C, et al. Mapping in Cycles: Dual-Domain PET-CT Synthesis Framework with Cycle-Consistent Constraints[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022: 758-767.

论文目前无链接，在miccai2022论文集图像配准与重建部分中看的原文。

小成今天拔头发了吗

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
[阅读笔记]循环映射：具有循环一致约束的双域PET-CT合成框架

Mapping in Cycles: Dual-Domain PET-CT Synthesis Framework with Cycle-Consistent Constraints
复制链接

扫一扫