论文阅读：CCX-RAYNET: A CLASS CONDITIONED CONVOLUTIONAL NEURAL NETWORK FOR BIPLANAR X-RAYS TO CT VOLUME

CCX-RAYNET: A CLASS CONDITIONED CONVOLUTIONAL NEURAL NETWORK FOR BIPLANAR X-RAYS TO CT VOLUME

Ccx-raynet:用于双平面x射线和ct体积的一类条件卷积神经网络

来源：IEEE2021

摘要

尽管深度神经网络技术有了长足的发展，但基于对应的2D x射线进行三维CT重建仍然是计算机视觉领域的一项具有挑战性的任务。为了解决这个问题，我们提出了一种新的类条件网络，即CCXrayNet，它能够熟练地在得到的CT体积中重新捕获具有先验语义信息的形状和纹理。首先，提出一种深度特征变换(DFT)模块，通过生成仿射变换参数对语义分割的二维特征图进行空间调制;其次，通过连接二维和三维特征(DepthAware Connection)，提高x射线图像的特征表示。特别是，我们在放大的3D特征图上近似使用一个3D注释掩膜，其中强调了上下文关联。此外，在双平面视图模型中，我们引入自适应特征融合(AFF)模块，利用相似性矩阵来缓解输入数据无约束时出现的配准问题。据我们所知，这是第一个将先验语义知识应用于三维CT重建的研究。定性和定量分析表明，我们提出的CCX-rayNet优于基线方法。

关键词：CT重构，GAN，X-RAY，Medical Imaging, CNN, LS-GAN, 3D Patch Discriminator

1、介绍

X射线是一种流行的医学成像技术，所有的组织和器官都被投射到2D平面上。相反，在计算机断层扫描(CT)中，医生可以在3D空间检查身体内部的解剖结构，从而比X光更能正确地了解患者的损伤。然而，由于过度辐射导致患者和外科医生发生癌症的可能性很高，以及由于成本的原因难以获得，这促使我们建立了一个基于X射线的三维CT重建模型。此外，重建的CT容积可以帮助医生测量主要器官的尺寸，并诊断位置不正确的器官。最近，一种新的基于GaN[1]的方法，称为X2CT-GaN[2]，使用X射线的正交视图来学习人体的解剖学。然而，这种方法存在几个问题：在 2D X 射线特征图中丢失深度知识，并且在 X 射线捕获期间出现配准问题，因为该方法对患者的运动施加了限制，这会导致伪影。此外，基于深度学习的CT重建方法主要存在三个主要问题:形状失真、深度信息丢失和配准问题。在这项工作中，我们试图通过在CCX-rayNet中使用三个新的模块来解决这些问题。不像之前的几种方法需要数百张x射线，对于CCX-rayNet，我们最多需要2张x射线来提供相应的CT。在这里,我们的工作是三个重叠的贡献:

(1)我据我们所知，我们首次在三维CT重建中应用语义优先约束，为网络提供不同器官的不同解剖结构和纹理信息，因为不同的器官具有不同的语义，应该区别对待。受[3]的启发，我们提出了DFT模块来对语义分割的二维特征图进行空间调制。该过程提供了我们系统中不同器官的结构和纹理，以解决形状畸变问题。

(2)在桥接二维和三维特征时，我们提出了深度感知连接(Depth Aware Connection, DAC)来减少深度信息的损失，并去除不重要的特征。

(3)提出的AFF模块采用加权和代替平均和来融合特征的多个视图。AFF模块极大地依赖于注意力机制，这个机制帮助网络放大最有生产力的特征并抑制未注册的特征。

2、方法和材料

我们有两个用于正面和侧面x光的并行编码器-解码器网络，一个融合网络(在中间)包括用于融合信息的3D基本块。我们采用与X2CT[2]相同的结构进行重构，利用UNet[4]实现前端先验分割信息，并将其送入前端编解码器网络。我们在编解码器网络中精确地插入DFT和DAC，在融合网络中附加AFF。我们使用带有CCX-rayNet的[5]三维patch鉴别器生成CCX-rayGAN，以提高CT体积的可视化。

2.1、DFT Deep Feature Transform

如图1所示， 为了保护形状信息和拓扑信息，我们向条件网络输入了正面视角的X片，用于生成conditions。为了转化二维特征，使用DFT模块映射函数M提供调制参数对(α， β)。

其中c表示输入条件。在获取(α， β)后，对主特征图进行移位和缩放。

图1：双平面CCX-rayNet的生成部分包含两个编解码器网络。它包括提出的DFT，DAC和AFF模块。网络的输入是x线的前后侧位图和分割图。

DFT模块

F_in与α和β的维数相似。
使用特定的语义先验信息，元素的加法（+），元素的乘积（O）用于在DFT模块中执行逐个元素的转换。

如图1所示，我们将condition设置为共享的中间值，并传递给每个2D编码器，使得DFT可以用较少的参数。端到端训练优化器M。

2.2 DAC (Depth-Aware Connection)

在一些基于编码器-解码器的三维重建方法中，透视投影中的深度信息丢失是一个常见问题，在医学领域中尚未建立它们的连接。我们在2D和3D特征图之间建立了一个跳跃式连接，即DAC，以解决深度信息丢失问题。DAC遵循x射线产生的原理，减少了信息在压缩轴中的丢失。
每个CT切片拥有不同的细节，但扩展操作认为每个切片具有相同的特征，同时忽略了切片间有价值的深度信息。因此，我们创建了一个深度感知连接(DAC)，它可以从x射线中突出特定的CT切片区域。

首先，通过沿着第三轴复制这个2D图，中间的三维特征图已经从2D特征图扩展。然后，然后，将3D特征映射到CNN块，其形状（B，C，D，H，W）。接下来，从2D特征图中，创建一个具有(B，D，H，W)形状的注意力矩阵。最后，我们增加了注意力矩阵的C倍，并与三维特征图进行了元素乘法运算。公式如下：

• I,G,G(hat)是输入的2D特征图、中间三维特征图、注意图应用前的三维特征图。此外，扩展运算表示为E，注意矩阵由I产生。

2.3 AFF（Adaptive Feature Fusion）

我们使用合成的x射线数据集来训练模型，这在现实世界中是不可行的。在临床x线获取过程中，双平面x线之间存在一定的偏移。此外，还必须考虑融合部分的计算量。因此，在所提出的AFF模块中，我们引入了注意机制和相似矩阵来灵活地融合正交视图中的特征。

在这里，我们针对融合部分的两个三维特征图的距离计算相似矩阵SIM。I1和I2是正交的特征映射。相似性矩阵是非局部模块的典型蓝图，当对应的特征体素一致时使用。由于计算上的问题，我们采用点距离来测量距离。另外，两个加权矩阵灵活地增强其中一个特征点，压缩另一个特征点的贡献。

3D不共享权重，通过将3D特征图与相应的权重矩阵相乘，实现加权和来融合特征。

2.4、数据准备

图2：数据集(第一行)的前后胸部x光片;从UNets预测的分割图(第二行)。

为了训练，我们需要x光和CT配对数据集。Ying等人的[2]提供真实CT扫描的合成x光片，采用数字重建x光片(DRR)技术，随后使用CycleGAN[6]。1018例胸部CT扫描来自LIDC-IDRI数据集[7]。在训练和测试中，我们分别使用916和102 CT扫描。

为了将语义信息传递到主网络，我们训练了两个二进制UNets[4]用于肺和心脏分割。Mont和shenzhen的胸部X光片数据集产生肺部的分割图【8】作为704张后到前的GT。接下来，使用JSRT[9]和SCR[10]数据库来生成心脏的分割图。在我们的数据集上进行训练和测试后，我们获得了多类别分割图(如图2所示)，然后将大小调整为128×128进行重建任务。