论文翻译：CCX-RAYNET：一种用于双平面X射线到CT体积的类条件卷积神经网络

摘要

 尽管深度神经网络的进步，但从其对应的2D X射线进行3D CT重建仍然是计算机视觉中的一项挑战性任务。为了解决这个问题，我们提出了一个新的类条件网络，即CCXrayNet，它精通于在生成的CT体积中利用先前的语义信息重新获取形状和纹理。首先，我们提出了一个深度特征变换（DFT）模块，通过生成仿射变换参数来在空间上调制语义分割的2D特征图。其次，通过桥接2D和3D特征（深度感知连接），我们提高了X射线图像的特征表示。特别地，我们近似在放大的3D特征图上使用3D注意力掩模，其中强调了上下文关联。此外，在双平面视图模型中，我们结合了自适应特征融合（AFF）模块，以通过使用相似性矩阵来缓解无约束输入数据的配准问题。据我们所知，这是首次在3D CT重建中利用先验语义知识的研究。定性和定量分析都表明，我们提出的CCX-rayNet优于基线方法。

介绍

 X射线是一种流行的医学成像技术，所有组织和器官都投影在2D平面上。相反，在计算机断层扫描（CT）中，医生可以在3D空间中检查身体内部的解剖结构，从而比X射线更准确地了解患者的受伤情况。然而，患者和外科医生因过度辐射而患上癌症的可能性很高，而由于成本原因，可及性较差，这促使我们建立了一个基于X射线的3D CT重建模型。此外，重建的CT体积可以帮助医生测量主要器官的尺寸并诊断位置不正确的器官。最近，一种新的基于GAN[1]的方法，称为X2CT-GAN[2]，使用X射线的正交视图来学习人体解剖结构。然而，该方法存在几个问题：2D X射线特征图中的深度知识丢失，以及在X射线捕获过程中出现的配准问题，因为该方法对患者的运动施加了限制，从而导致伪影。此外，基于深度学习的CT重建方法主要面临三个主要问题：形状失真、深度信息丢失和配准问题。在这项工作中，我们试图通过在CCX-rayNet中使用三个新模块来解决这些问题。

 与之前的几种需要数百次X射线的方法不同，对于CCX-rayNet，我们最多需要两次X射线来提供相应的CT。这里，我们的工作有三个方面的贡献：（1）据我们所知，我们是第一个在3D CT重建期间应用语义先验约束以提供关于不同器官的网络不同解剖结构和纹理信息的人，因为具有不同语义的不同器官应该不同对待。受[3]的启发，我们提出了DFT模块来在空间上调制语义分割的2D特征图。该程序提供了我们系统中不同器官的结构和纹理，以解决形状变形问题。（2） 我们提出了深度感知连接（DAC），以减少深度信息损失，并在桥接2D和3D特征时去除不重要的特征。（3） 所提出的AFF模块使用加权和而不是平均和来融合特征的多个视图。AFF模块极大地依赖于注意力机制，该机制帮助网络放大最有效的特征并抑制未注册的特征。

方法和材料

 我们有两个用于正面和侧面X射线的并行编解码网络，一个融合网络（位于中间）包含用于融合信息的3D基本块。我们遵循与X2CT[2]相同的结构进行重建，并利用UNet[4]来实现前部先验分割信息，并将其馈送到前部编码器-解码器网络中。我们精确地将DFT和DAC插入到编码器-解码器网络中，并将AFF附加到融合网络中。我们使用CCX-rayNet应用3D补丁鉴别器[5]来生成CCX-rayGAN，以改进CT体积的可视化。

图1。双平面CCX-rayNet的生成器部分包含两个编码器-解码器网络。它包括提议的DFT、DAC和AFF模块。系统的输入是X射线的前后视图和侧视图以及分割图。

2.1.深度特征变换（DFT）

 如图1所示，为了保存形状信息和拓扑，我们将正面视图X射线的分割图输入到条件网络中，以生成条件。为了变换2D特征，DFT模块使用映射函数M来提供调制参数对（α，β）。

其中c表示输入条件。在获得（α，β）后，将移动和缩放主要特征图。

F_in的尺寸与α和β相似。对于特定的语义先验信息，元素加法（+）和元素乘积
用于在DFT模块中执行逐元素变换。如图1所示，已将条件设置为共享的中间值，并将其传输到每个2D编码器，以便DFT可以获取很少的参数。端到端培训用于优化M。

2.2.深度感知连接（DAC）

 在一些基于编码器-解码器的3D重建方法中，透视投影中的深度信息丢失是一个常见问题，并且它们的连接不是针对医学领域构建的。我们在2D和3D特征图之间建立了一个跳跃连接，即DAC，以解决深度信息丢失问题。DAC遵循X射线生成原理，减少了压缩轴中的信息丢失。每个CT切片包含不同的细节，但扩展操作认为每个切片具有相同的特征，同时忽略了切片间的有价值的深度信息。因此，我们创建了一个深度感知连接（DAC），它强调了不同CT切片的X射线的特定区域。

 首先，通过沿着第三轴复制2D特征图，中间3D特征图已经从2D特征图扩展。然后，将3D特征图应用到基本的CNN块中，将其施加为（B，C，D，H，W）形状。接下来，从2D特征图中，生成形状为（B，D，H，W）的注意力矩阵。最后，我们将注意力矩阵增强C倍，并与3D特征图执行元素乘法。行动总结如下：

I、 G和
分别表示应用注意力图之前的输入2D特征图、中间3D特征图和3D特征图。此外，扩展操作表示为E，注意力矩阵由I产生。

2.3.自适应特征融合（AFF）

 我们使用合成的X射线数据集来训练模型，这在现实世界中是不可行的。在临床X射线采集过程中，双平面X射线在一小范围内相互偏移。此外，我们还必须考虑融合部分的计算负担。因此，在所提出的AFF模块中，我们包括注意机制和相似度矩阵，以从正交视图灵活地融合特征。

 这里，我们计算融合部分中两个3D特征图的距离的相似度矩阵SIM。I₁和I₂是正交特征图。相似性矩阵是非局部模块的典型蓝图，当对应的特征体素一致时使用。由于计算问题，我们将点距离应用于距离测量。此外，两个加权矩阵灵活地增强其中一个特征点并压缩另一个特征的贡献。

 conv 3D不共享权重，并且通过将3D特征图与对应的权重矩阵相乘来实现加权和以融合特征。

2.4. Dataset Preparation

图2。来自数据集的前后胸部X射线（第一行）；来自UNets的预测分割图（第二行）。

 对于训练，我们需要X射线和CT配对数据集。Ying等人[2]通过使用数字重建射线照片（DRR）技术，然后使用CycleGAN[6]，从真实CT扫描中提供合成X射线。1018次胸部CT扫描来自LIDC-IDRI数据集[7]。对于培训和测试，我们分别使用916和102次CT扫描。

 为了向主网络传递语义信息，我们训练了两个用于肺和心脏分割的二进制UNet[4]。704前后胸部X射线和蒙哥马利和深圳胸部X射线数据集的地面真实值[8]已用于生成肺部分割图。接下来，JSRT[9]和SCR[10]数据库用于生成心脏分割图。在我们的数据集上进行训练和测试后，我们获得了多类别分割图（图2），然后将其调整为128×128，以完成重建任务。

3.实验

 为了在本节中展示我们提出的CCX-rayNet的有效性，我们提供了模型的定性和定量分析。我们还显示了网络设置和消融研究。

3.1.网络设置

 我们使用Adam优化器对该网络进行了100个时期的训练，其中初始学习率为2e−3，50个时期后的学习率下降30%。对于培训，我们应用实例规范化而不是批处理规范化

 我们采用两种不同的方法来训练我们的模型：（1）结合了投影像素方向的L1损失和体素方向的损失，表示为CCX-rayNet。（2） 基于GAN的训练方法称为CCX-rayGAN，其中生成器和鉴别器的反向传播步骤模仿与LS-GAN中相同的过程[11]。我们调整了正面和侧面视图X射线的大小，并将正面视图分割图调整为128×128进行训练。在正面视图分割图中，我们获得了两个类别，如心脏和肺，但“背景”类别用于包含不包括在上述类别中的区域。最后，这些模型的输出尺寸为128×128×128。

3.2.定性分析

图3。CCX射线GAN+B和X2CTGAN+B产生的CT体积的侧视图（第一排）和轴向图（第二排）。CCX射线GAN+B比X2CT-GAN+B生成精确的解剖重建。

图4。根据CCX射线GAN和X2CT-GAN重建3D CT体积+B’表示双平面X射线输入。第一行表示CT的后-前（PA）视图，第二行表示骨结构重建。

 从X射线进行CT体积重建相对而言是一种新的建议方法，我们的CCX射线GAN+B可以大大提高重建结果的感知质量。在图3和图4中，我们比较了基于GAN的双平面网络和基线X2CT-GAN+B方法的视觉质量。

 通过图3的横向和轴向视图，我们可以看出，与X2CTGAN+B相比，CCX射线GAN+B通过复杂的解剖部位产生了高质量的重建结果。特别是，与最先进的方法相比，我们的方法产生了更清晰的器官边界和内部纹理。接下来，在图4中，我们可以检查CCXrayGAN+B可以重建器官（例如，肺）的轮廓形状和小的复杂解剖结构，例如肺后前（PA）视图中的小血管（第一行）。此外，我们的网络可以重建胸部（肋骨）骨骼结构和脊柱（第二排），接近地面真相。与基线方法X2CT-GAN+B相比，我们可以在内部解剖和骨结构方面产生更好的结果。

3.3.定量分析

 我们使用峰值信噪比（PSNR）和结构相似性指数（SSIM）来评估我们方法的定量结果。如表1所示，与基线X2CT-CNN+B相比，建议的CCXrayNet+B产生了更好的PSNR和SSIM值。CCX rayNet+B产生更好的PSNR和SSIM值，而CCX rayGAN+B产生显著更好的视觉输出（根据图3，4），具有细微的解剖细节，因为牺牲基于MSE的损失以获得更好的视觉结果是基于GAN的网络的典型特征。因此，我们可以提出一个逻辑权衡，即医生获取高质量图像以感知小的复杂解剖结构是有价值的。在本文中，我们只展示了我们的双平面X射线方法，尽管我们还训练了单视图方法（CCX-rayNet+S和CCX-rayGAN+S），其中输入是X射线的前视图和前视图分割图。在我们的双平面方法（CCX-rayNet+B）中，我们几乎比单视图方法（CCX rayNet+S）多获得3.4 dB的PSNR值。

表1。CCX射线网、X2CT[2]和2DCNN[12]的定量结果。CCX-rayNet是建议的生成器网络，“CCX-rayGAN”是我们基于GAN的方法。这里，“+S”表示单视图X射线输入，“+B”表示双平面X射线输入。以粗体突出显示的最佳结果

表2。建议的双平面CCXrayNet的几种组合和粗体标记的最佳结果

3.4.消融研究

 对于CCX-rayNet+B，我们评估了我们提出的模块的影响，结果如表2所示。在没有三个模块的情况下，网络的PSNR值为27.29 dB；其中DFT、DAC和AFF模块的组合将PSNR值提高到28.18 dB。此外，DFT和DAC模块也比基本模型提高了PSNR值。

4.结论

 本文介绍了一种称为CCX-rayNet的类条件网络，用于从合成胸部X射线重建3D CT体积。我们提出了三个模块（DFT、DAC、AFF），以在实际世界场景中重新获得忠实于语义类的纹理和形状。为了制作数据集，我们使用两个二进制UNet架构来生成分割图。我们提出的具有先验语义信息的双平面方法以比基线模型更高的视觉质量恢复重建的三维体积中的密度信息、解剖结构和形状。我们的消融研究表明了我们提出的模块的能力。