论文阅读Patient-specific reconstruction of volumetric computed tomography images from a single projectio

Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning

通过深度学习从单一投影视图重建特定于患者的体积计算机断层扫描图像

发表：nature biomedical engineering
源码：https://github.com/liyues/PatRecon
辅助材料

摘要

使用穿透波的断层成像可以生成活体内部解剖的横断面图。对于无伪影的体积成像，需要来自大量角度位置的投影视图。在这里，我们展示了经训练以将患者的投影X线片映射到相应的3D解剖结构的深度学习模型，随后可以从单个投影视图生成患者的体积断层X射线图像。我们通过三位患者的上腹部、肺部和头颈部计算机断层扫描证明了该方法的可行性。通过深度学习的体积重建在图像引导的介入过程中可能有用，例如放射治疗和针刺活检，并可能有助于简化断层成像系统的硬件。

论文内容

计算机层析成像(CT)能够以高空间分辨率对患者或物体进行深度、定量的成像，在科学研究和医学实践中具有很高的价值。传统上，X图像是通过对来自不同角度位置的一组给定的测量数据对成像波的编码函数进行数学反演来获得的(图1A，b)。

• 图1|超稀疏投影视图数据的3D图像重建。
• A，CT系统中X射线源、患者和探测器的几何视图。
• B、从三个不同角度拍摄病人的X线投影图。
• C.在先验知识和投影采样的背景下，不同的图像重建方案。使用深度学习对一个或多个2D投影图像进行体积图像重建。

无人工干扰反演（X to CT）的前提是满足角数据采样中的经典香农-尼奎斯特定理，该定理在成像时间和目标辐照方面有实际可达到的限制(现实无法达到)。

【1-6】、【7,8】：为了缓解这一问题，稀疏采样图像重建已经被广泛研究，使用了压缩感知【1 - 6】和最大后验【7,8】等技术。

【9-13】：这些类型的方法在反演中引入了一个正则化术语，以在合成图像中加强一些特殊的或假定的特征。

如果成像质量不能降低，所产生的稀疏性通常是有限的，并不能解决未满足的实时成像需求，而主体辐照度大幅降低(图1c)。实际上，虽然已经不断努力减少医学成像中角度测量的数量，但超稀疏采样的层析成像尚未实现。

图1 c:基于先验知识和投影采样的不同图像重建方案

在本研究中，我们将稀疏采样推至单个投影视图的极限，并通过在数据驱动的图像重建过程中利用深度学习和先验知识的无缝集成，展示具有患者特异性先验的单视图断层成像。利用机器学习技术在不同数据领域的先验知识来改进成像是一个新兴的研究课题。

【14-19】最近的一些研究也研究了基于机器学习的图像重建。而数据驱动的方法代表了一种潜在的图像重建的一般策略，这里的单视图CT成像是通过特定患者的先验实现的。实际上，使用特定于患者的先验方案实际上是有利的：对于许多图像引导的介入应用，该方法将使最相关的情况下，治疗的特定患者。

在这里，我们设计了一种用于超稀疏投影视图的x射线CT成像的层次神经网络，并开发了一种结构化的训练过程，用于深度学习从二维x射线投影生成三维CT图像。

• 我们的方法在表示生成(编码器-解码器)框架内引入了二维投影和三维体积CT图像之间的特征空间转换。
• 通过转换模块（transformation module），我们将二维投影学到的表示转化为一个具有代表性的张量，用于后续生成网络的三维体重构。通过模型-训练过程，转换模块学习跨维度特征表示之间的潜在关系(2D到3D的潜在表示)，使从2D投影生成体积CT图像成为可能。
• 需要强调的是，x射线投影并不是纯粹的二维横截面图像，在投影过程中，高维信息已经被编码(见图1a原理图)，编码功能由x射线与介质相互作用的物理性质决定。

图1 a：CT系统中x射线源、病人和探测器的几何图。

• 一般来说，单独的投影不足以捕获投影方向上的解剖信息，用于后续的体积图像重建。使我们的深度学习模型能够用于患者特定的体积图像重建的是，解剖关系(包括投影视图方向的信息)在模型训练过程中通过使用包含不同的身体位置和解剖的2D-3D数据对的增强数据集进行编码分布。深度学习转换解码投影数据中的隐藏信息，利用模型训练过程中获得的先验知识预测出体积图像(图1d)。
  

图1 d：利用深度学习对一幅或多幅2D投影图像进行体积图像重建。

results

图2显示了我们的深度学习框架的详细结构。神经网络的输入是单个或多个不同视角的二维投影图像。网络的输出是相应的体积CT图像。在模型训练过程中，神经网络学习从二维投影到体积图像的映射函数。具体来说，我们的深度学习体系结构由三个主要部分组成:表示网络、转换模块和生成网络。

• 表示模块：提取 embedding 特征，并从输入的2D投影中学习实际3D场景的语义表示。
• 转换模块：通过卷积和反卷积操作连接表示和生成网络，并将二维和三维特征表示联系起来。
• 生成网络的作用是在从表示网络中学习到的特征的基础上提供具有微妙结构的体积图像。

在构建模型时，我们假设一个或多个二维投影和相应的三维图像具有相同的语义表示，因为它们表示相同的对象或场景。换句话说，特征空间中的表示在二维投影到三维图像的转换中保持不变。这里的三维图像重建的任务很大程度上是训练编码器(即表示网络)和解码器(即生成网络)可靠地学习特征空间和图像空间之间的关系。（不理解1）关于网络架构的详细信息包含在方法中。

训练一个深度学习模型需要大量带注释的数据——这通常是一个bottleneck。我们不用实际测量大量成对的x射线投影和CT图像来进行监督训练，而是使用与用于放射治疗的临床机载锥束CT系统一致的几何形状，从患者的CT图像中数字化生成投影图像（就是DRR）图1 a。对于胸部或上腹部区域的成像，通常需要获得四维(4D) CT来解决不自主呼吸引起的器官运动，选择每一个四维(即分相)CT形成一个三维CT数据集(不理解2：4D指的是不同时间下的CT多组？)。在现实中，3D CT图像只捕捉了患者内部解剖的众多可能场景中的一种。为了考虑建模中的各种临床情况，在3D CT中引入了一系列平移、旋转和器官变形，以模拟不同的成像情况。对于每一个变换，产生一个或多个特定角度的相应的二维投影图像或数字重建射线图(DRR)。该模型可用于介入治疗，如放射治疗和图像引导活检，其中术前CT可用于训练深度学习模型。当然，我们可以构建一个由上述DRR-CT对患者集合组成的训练数据集。这将导致更普遍适用的模式，但基本原则将是相同的。为简单起见，我们将重点介绍患者特定的2D-3D图像映射模型的开发。

图2深度学习网络

• a、模型的输入为单个投影视图或多个2D投影视图。
• b、表示网络从输入中学习图像对象的特征表示。
• c、对提取的二维特征进行重塑，并通过转换模块将其转换为三维表示，进行后续重建。
• d、生成网络利用前一阶段提取的表示特征生成相应的体积图像。
• e，模型的输出是相应的体积图像。
• Conv卷积层;Deconv, deconvolution layer(数字表示使用的具体内核大小);
• BN,批正常化;
• ReLU，整流线性单元;
• +，添加残差路径的特征图;每一层下面的数字表示每一层特征图的数量。

图1.a

我们通过使用不同的疾病部位评估方法:一个上腹部病例，一个肺病例和一个头颈部病例。我们使用前后二维投影作为输入(图2)。在所有实验中，使用相同的网络结构和训练策略。损失曲线(图3)表明，该模型经过训练可以很好地拟合训练数据，也可以推广到训练数据集中不包括的数据上。方法中描述了数据集生成和训练过程的细节。

图3腹部ct和肺部ct病例|训练损失和验证损失曲线。

• a,b，训练数据(蓝色)和验证数据(橙色)相对于腹部CT (a)和肺部CT (b)训练迭代次数的均方误差(MSE)损失图。
  细节在右边的放大图中显示。

为了评估该方法的可行性，我们将训练好的网络部署在一个独立的测试数据集上。图4a为我们对腹部CT和肺部CT病例进行单前后视图输入重建的结果，以及地面真实度的图像以及得到的图像与地面真实度的差值。深度学习得到的图像与目标图像相似，表明了该模型用于体积成像的潜力。我们还重建了体积图像以单一侧视图作为腹部病例的输入，结果相似(见补充信息中的实验部分)。此外，我们使用多个定量的评价指标来衡量结果。表1总结了评估指标的平均值。定性和定量结果表明，该模型能够在仅使用一个二维投影的情况下实现三维图像重建。结果(图5)也证实了我们的方法的有效性。

图4腹部ct和肺部ct的例子a - d

• 使用1 (a)， 2 (b)， 5 ©和10 (d)投影视图重建的图像。
• 显示了预测和预测与地面真实之间的差异图像。补充图3-6为两组实验对应的冠状和矢状图。
• 对于腹部CT病例，分别使用720、180和600张图像进行训练、验证和测试。肺CT病例分别使用2400、600和200张图像进行训练、验证和测试。

表1

图5头颈部ct病例。

• a，用于深度学习模型训练的头颈部病例的3D CT图像。
• b、左:测试样本和相应的差图像(相对于训练样本)在横、矢状面和冠状面。右:横向、矢状面和冠状面预测图像和相应的差图像(相对于地面真实)。
• 对于本例，分别使用2,000、500和200张图像进行训练、验证和测试。

此外，我们用两个、五个或十个投影视图作为输入进行实验。多视图角度围绕180°半圆均匀分布(例如，两个视图的两个正交方向为0°(前后)和90°(横向))。我们将不同角度的二维投影叠加作为输入数据，并修改第一个卷积层以适应输入通道的大小。采用相同的模型训练程序和高参数，我们获得了腹部CT和肺部CT病例的2、5和10个视图的CT图像(图4b-d)。对这些病例结果的定量评价如表1所示。补充图1、2和图3-6分别显示了图像的训练损失曲线和相应的冠状面和矢状面。通过比较定量评价指标，可以清楚地看到，单个2D投影能够产生与多个投影获得的重建图像相似的图像。在某种意义上，网络结构针对单视图输入进行了优化。在基于深度学习的重构中，投影的数量与层次网络的结构之间通常存在一定的关系。更多的投影要么会导致更好的性能，要么会产生空间来简化网络结构，因为学习到的表示通常会随着额外的投影信息而增强。

图4b——d

讨论

为了更好地理解深度学习模型，我们分析了从该模型中学习到的语义表示。通常，只有当模型能够从输入投影中学习三维结构的语义表示时，才能成功生成体积图像。因此，对于相同的体积，通过学习不同的角投影获得的特征表示应该是相似的，因为它们描述的是相同的底层3D场景。在图6a中，我们将两个测试样本从转换模块中提取的特征映射可视化。出于可视化的目的，在4096个特征地图中只显示了5个随机选择的通道，每个通道的大小为4 × 4像素。从不同数量的二维投影中学习到的特征图分别显示在不同的列中。结果表明，当给定不同的2D视图时，该模型能够提取出底层3D场景相似的语义表示。图6b为15个测试样本特征图的t-分布式随机邻居嵌入(t-SNE)片（不理解2）可视化结果。t-SNE技术通常通过将每个样本嵌入二维空间中的一个点来可视化高维数据【38】。同一颜色簇中的四个点代表了从1 -、2 -、5 -和10 -视图重建中学习到的特征。图中显示了来自相同样本的特征图的聚类行为，表明模型从不同的2D投影中学习了相似的表示。

我们还通过计算两个特征映射之间的欧氏距离来度量嵌入表示的相似性。这样，我们计算一个相似度得分，范围从0到1，其中相似度高(得分接近1)表示两个特征映射之间的距离接近于零。我们在随机选取的50个测试样本中绘制相关矩阵(图6c)，从单视图和双视图重构模型中提取特征表示。最高的值在相关矩阵的对角线中突出，而其他非对角线的值保持相对较低。这说明从同一三维场景的单视图和双视图投影学习到的两组特征表征在欧氏距离空间上比从其他不同的三维场景学习到的特征表征更相似或更接近。这提供了额外的证据，支持该模型通过单个投影学习3D场景的语义表示的能力。（不理解3）

图6a：可视化的特征地图，从不同的2D投影学习，为两个测试样本。图中不同的颜色表示feature map中不同的强度值(颜色越浅表示强度值越高)。

图6b：t-SNE可视化15个测试示例的特征表示，并输入不同的2D视图。总共显示了15组(4个相同颜色的点)。聚类中的四个点代表了从1-、2-、5-和10-视图重建模型中学习到的特征。每个聚类表示每一个随机选择的测试样本的内嵌表示。

图6c:从600个样本中随机选取50个测试样本，在1视图(一张图片)和2视图重构中表示向量的相关矩阵。

鲁棒性对可能的不规则呼吸模式是重要的未来临床实施该方法。深度网络对各种扰动的鲁棒性是人工智能研究的热点【39 - 46】。如文献
【43】所述，可能的解决方案有三种:(1)修改网络架构(例如，增加更多的层，改变损失函数和修改激活函数);(2)使用外部模型作为网络附加组件来检测出分布外的数据(例如，使用外部检测器来校正不规则数据);(3)修改训练数据分布或训练策略(例如，增加正则化、数据增强或利用对抗性训练)。在(1)中，工作的重点是细化学习模型。在(2)中，不规则运动可以被视为未分布的数据，其中一些潜在的技术，如检测器子网络【41】或基于置信度的方法【42,44】，可能对检测不规则输入有用。在各种方法中，修正训练数据分布可以说是最直接的方法。其原理是，如果能有效地将不规则性纳入训练数据集，并对训练策略进行相应调整，则训练模型的鲁棒性会得到增强。在某种程度上，这已经在Supplementary Fig. 7的例子中进行了阐述，其中表明，由于包含了带有旋转转换的增强训练数据集，与传统的基于主成分分析(PCA)的方法相比，深度学习方法对成像对象的小旋转更加鲁棒。补充图7中测试样本的研究定量结果见补充表1。

outlook

我们描述了一种深度学习方法的体积成像超稀疏数据采样和患者特定的先验。数据驱动策略能够从单个投影或几个二维投影中整体提取嵌入的特征特征，并通过模型学习将其转化为相应的三维图像。图像特征空间变换在超稀疏图像重建中起着至关重要的作用。在训练阶段，该方法将不同形式的先验知识融合到重构中。流形映射函数（manifold-mapping function）从训练数据集中学习，而不是依赖于任何特殊形式的运动轨迹。虽然我们已经使用了x射线成像和患者特定数据，但该方法的概念和实现可以扩展到其他成像模式或超稀疏采样的其他数据领域。实际上，单视图成像是许多图像引导介入程序的潜在解决方案，可能有助于简化层析成像系统的硬件。

encoder - decoder 框架

深度神经网络被构造成一个编码器-解码器框架(图2)。
在自编码器模型中，编码器将高维数据转换为嵌入式表示，而解码器重构高维输入。

在我们的任务中，我们不是通过解码获得输入，而是开发了一个改进的解码器，根据编码器转换的代码生成相应的体积图像。更准确地说，以一个二维投影序列作为输入，编码器网络通过从二维投影中提取器官位置和大小等语义信息来学习特征表示。这样，编码网络从二维图像域学习到特征域的转换函数h1。然后，一个转换模块学习特征域的流形映射函数h2，实现跨维特征表示的转换。将学习到的特征表示作为输入，训练解码器网络生成三维体。换句话说，解码器网络学习一个变换函数h3从特征域到三维图像域。这样，我们通过分解拟合目标映射函数F: F=h1h2h3。

我们的网络设计背后的基本原理是，二维投影和三维图像在特征域应该共享相同的语义特征表示，因为它们代表相同的物体或物理场景的图像表达。因此，特征空间中的表示应该保持不变。从某种意义上说，如果模型能够学习特征空间与2D和或3D图像空间之间的转换函数，就有可能从2D投影中重建3D图像。因此，遵循这种编码器-解码器框架，我们的模型能够学习如何使用学习到的表示在高维特征空间中从2D投影生成3D图像。

Representation network

深度残差网络(如ResNet)在许多任务中都获得了卓越的性能。残差学习的一个关键步骤是identity mapping ，它有助于训练过程，避免反向传播中梯度消失，这鼓励了每个阶段的层次表示的残差学习，并简化了深度网络的训练。受这一特点的启发，我们在表示网络(图2)中引入了一种残差学习方案，其中使用2D卷积残差块来辅助深层模型从2D投影中学习语义表示。在补充信息、消融研究和讨论中给出了关于剩余学习方案的更多细节，并在补充表2中总结了结果。具体地说，每个2D卷积残差块由以下模块组成：→2D卷积层(核大小为4，步长为2)→2D批归一化层→RELU层→2D卷积层(核大小为3，步长为1)→2D批归一化层→RELU层。第一层使用滑动步长为2×2的4×4核进行2D卷积运算，将特征地图的空间大小向下采样2倍。此外，为了保持高维特征表示的稀疏性，我们通过增加卷积滤波器的数量，将特征映射的通道数相应地增加了一倍。在通过ReLU层提供feature map之前，在训练小批处理(batch normalization)之间有一个分布规范化层。其次，采用核大小为3 × 3，滑动步幅为1 × 1的方法进行第二层二维卷积层和二维批处理归一化层，保持了特征图的空间形状。此外，在应用第二层ReLU层之前，还建立了额外的快捷路径，将第一层卷积层的输出进行相加，得到最终的输出。通过设置身份映射的捷径路径，鼓励第二层卷积层学习残差特征表示。为了从二维投影中提取层次语义特征，我们将5个含有不同卷积滤波器个数的二维卷积残块串联起来，构建了表征网络。关于网络深度的详细讨论见补充信息、烧蚀研究和讨论，部分结果见补充图8。要简洁,我们使用符号k×m×n表示k通道特征图的空间大小的m×n。一代网络,输入图像的大小表示当n×128×128,其中n是2 d的数量预测。featuremap大小的变化通过网络N×128×128→64→256×64×512×32×32→1024×16×16→2048×8×8→4096×4×4,其中每个“→”表示将通过一个二维卷积残块如上所述,除了批规范化卷积和ReLU激活在第一层。因此，表示网络的输出是4096 × 4 × 4大小的二维投影提取的特征表示。

Transformation module

为了在表示和生成网络之间架起桥梁，在学习了表示之后部署了一个转换模块。如图2所示，将核大小为1 × 1的卷积运算和ReLU激活后，二维卷积层学习一个跨越所有二维特征映射的变换。然后，我们重塑嵌入表示从4096 × 4 × 4到2048 × 2 × 4 × 4。通过这种方式，我们将跨维度的特征表示转换为后续的3D体生成。接下来，一个核大小为1 × 1 × 1，滑动步幅为1 × 1 × 1的三维反褶积层在保持特征大小不变的情况下，学习所有三维特征立方体之间的变换。这个转换模块连接了2D和3D特性空间。此外，如前面的工作【51】所述，我们还在转换模块中删除了批标准化，以帮助通过该模块进行知识传递。

Generation network

生成网络建立在三维反卷积块上，组成部分‘3D反卷积层(核大小为4，步幅为2)→3D batch normalization layer→ ReLU layer → 3D deconvolution layer (核大小为3，步距为1) → 3D batch normalization layer → ReLU layer’。注意，‘deconvolution’ 层实际上指的是执行上采样操作的“变换卷积”或 fractional stride 步长卷积的操作。第一层反卷积层以因子2对特征图进行上采样，核为4×4×4，滑动步长为2×2×2。为了从高维特征域转换到三维图像域，我们通过减少反卷积滤波器的数量来相应地减少特征图的数量。第二层反卷积为3×3×3核，滑动步长为1×1×1，保持了特征图的空间形状。3D批归一化层和RELU层紧跟在每个去卷积层之后。在层次上，3D生成网络由五个串联的反卷积块组成。与表示网络的约定相同，我们用k × m × n × p表示空间大小为m × n × p的三维特征地图的k个通道。
当表示输入为2048 × 2 × 4 × 4时，特征映射的数据流为：2048244→­1024488→­51281616→­256163232→­128326464→­6464128128；其中→­指的是残差块。在生成网络的最后，构造一个由三维卷积层和核数为1的二维卷积层组成的输出变换模块，输出与重建图像形状相拟的三维图像。最后生成网络输出尺寸为C3D × 128 × 128的预测三维图像，其中C3D为目标体图像沿z轴方向的尺寸。需要注意的是，在输出转换模块中，删除了batch normalization layer ，在最后的卷积层之后没有ReLU层。

Materials

该方法通过使用3个不同疾病部位的病例进行评估。在第一项研究中，选择了一名进行放射治疗计划的患者的上腹部十期4D CT扫描。为了继续进行，前六个阶段用于生成CT-DRR对，以进行上述过程的模型训练和验证。我们使用前后二维投影作为输入(图2)。在CT体积中引入平移、旋转和变形，我们总共获得720个代表患者解剖不同场景的drr，用于模型训练，180个drr用于验证。为了确保在模型训练过程中看不到测试数据，我们从4D CT剩余的4个阶段中独立生成了600个测试DRR样本。4D CT图像在正电子发射断层扫描- CT模拟器(Biograph mCT 128，西门子医疗解决方案)和瓦里安实时位置管理系统(瓦里安医疗系统)上以120千伏，80毫安获得。二维投影数据是通过在TrueBeam系统(Varian医疗系统)的机载成像仪上投影每个三维CT数据点来获得的。在第2个实验中，选择1例肺癌患者，在相同的成像参数设置下，在2个不同的时间获得2张独立的治疗计划4D CT扫描。使用如上所述的数据增强策略，第一个4D CT用于生成训练数据集(2400个样本)和验证数据集(600个样本)，而第二个4D CT用于生成测试数据集(200个样本)。对于训练和测试数据集中的每一幅图像，通过将3D CT体积投影到TrueBeam系统的机载成像仪的几何结构中，产生相应的2D投影。为了建立一个可靠的模型，训练和测试数据集可能来自相同的数据分布，但数据集是独立抽样的。头颈部病例的数据采集和处理见补充资料。

Image pre-processing 图片预处理

数据在输入网络之前经过预处理。首先，我们将所有数据样本调整为相同的大小。例如，所有2D投影图像的大小都调整为128 × 128。由于腹部CT和肺部CT在z轴上的深度不同，体积图像的大小分别为46 × 128 × 128和168 × 128 × 128。每个数据样本是一对2D投影视图和相应的3D CT。类似于其他基于深度学习的成像研究【15】，引入降采样纯粹是由于内存限制和计算效率的目的。该公式和算法可以扩展到全尺寸图像(512 × 512)，因为我们模型中使用的组件层也可以扩展到不同尺寸的图像。在当前128 × 128的分辨率下(与基于深度学习的MRI重建中使用的分辨率相同【15】），小于3mm的小运动可能无法被准确描述。然而，我们应该强调的是，这种分辨率并不代表基于深度学习的方法的基本限制，而且可以随着计算技术的进步而改进。在实践中，人们正在积极探索基于深度学习的超分辨率等方法，这些方法可以用来提高该方法的空间分辨率。此外，根据数据预处理的标准协议，我们对二维投影和三维体图像进行比例归一化，其中像素级或体级强度归一化到区间[0,1]。此外，我们将输入二维投影中像素级强度值的统计分布规格化，使其更接近标准高斯分布N （0,1）。具体来说，我们计算了所有训练数据的统计平均值和标准推导。当输入一个新的样本时，我们从输入图像中减去平均值，然后将图像除以标准导数，得到输入的2D图像。

总结：

• CT大小46 × 128 × 128或168 × 128 × 128；DRR大小128*128
• 输入的DRR归一化：计算了所有训练数据的统计平均值和标准推导。当输入一个新的样本时，我们从输入图像中减去平均值，然后将图像除以标准导数（还不是很懂），得到输入的2D图像（输入网络）。归一化到区间[0,1]，使其更接近标准高斯分布N （0,1）。
• CT也有做归一化到区间[0,1]，使其更接近标准高斯分布N （0,1）。

training details 训练细节

对于包含2D投影的堆叠序列的输入图像X，我们训练深度网络来预测体积图像Ypred，该体积图像预计将尽可能地接近地面真实图像Ytrue。我们将代价函数定义为预测Ypred与地面真实Ytrue之间的均方误差，并通过随机梯度下降法迭代优化模型。为了进行比较，我们在所有实验中使用了相同的训练策略和超参数。我们使用PyTorch【52】库来实现网络，并使用ADAM优化器【53】来最小化损失函数，并通过反向传播来迭代地更新网络参数。由于内存限制，使用的学习率为0.00002，小批量大小为1。在每个训练周期结束时，在验证集上对模型进行评估。该策略通常用于监控模型性能，避免训练数据过度拟合。此外，学习速率被安排根据验证损失而衰减。具体地说，如果验证损失保持10个周期不变，则学习率降低2倍。最后，将验证损失最小的最佳检查点模型保存为实验中的最终模型。我们使用一个NVIDIA Tesla V100图形处理单元对网络进行了100个时期的训练(对于腹部CT病例，持续时间通常为20小时左右)。在测试过程中，对一个测试样本进行三维重建的典型推理时间约为0.5s。

Evaluation.评估

为了评估该方法的性能，我们将训练好的模型部署在测试数据集上，并使用定性和定量评估指标对重建结果进行分析。我们使用四种不同的度量来衡量预测3D图像的质量：MAE、RMSE、SSIM54和PSNR。我们计算所有测试样本的平均值，如表1所示。MAE/MSE是Ypred和Ytrue之间的L1范数/L2范数误差。像往常一样，我们取均方误差的平方根来得到均方误差。在实际应用中，MAE和RMSE通常被用来估计预测图像和地面图像之间的差异。SSIM评分是在图像中使用加窗方法计算的，用于度量两幅图像之间的总体相似度。一般来说，较低的MAE和RMSE值或较高的SSIM得分表示更接近地面真实图像的预测更好。PSNR定义为影响图像质量的最大信号功率与噪声功率之比。峰值信噪比(PSNR)是衡量图像重建质量的重要指标。

Comparison study 对比试验

为了更好地将建议的方法与现有技术进行基准比较，我们与已发表的基于PCA的方法【55-57】进行了比较研究，并阐述了我们建议的方法的差异和优势。这种比较是针对4D CT重建(腹部CT)的一种特殊情况进行的，在这种情况下，解剖运动可以用主成分来表征。我们发现，在理想情况下，当患者位置没有扫描间变化时，PCA和基于深度学习的方法产生相似的结果(因为结果非常相似，所以没有显示结果图像)。然而，当患者的位置与参考扫描的位置略有偏离时，深度学习模型在更现实的场景中表现优于PCA方法(有关详细信息，请参阅补充信息)。

【55】Real-time volumetric image reconstruction and 3D tumor localization based on a single x-ray projection image for lung cancer radiotherapy.基于单张X射线投影图像的肺癌放射治疗实时体积图像重建和三维肿瘤定位。（2010）
【56】3D tumor localization through real-time volumetric x-ray imaging for lung cancer radiotherapy.实时容积x射线成像三维肿瘤定位在肺癌放射治疗中的应用（2011）
【57】A method for volumetric imaging in radiotherapy using single x-ray projection.
一种使用单次x射线投影进行放射治疗中的体积成像的方法。（2015）