深度网络图像大小不一致_论文解读：用于婴儿MR图像重建的深度生成对抗网络（GAN）...

论文原文：Deep Generative Adversarial Networks for Thinsection Infant MR Image Reconstruction

出版：IEEE Access PP(99):1-1

搬运目的：选修课的report作业，有关手术导航的论文。

---

用于婴儿MR图像重建的深度生成对抗网络

摘要

薄层磁共振（MR）图像具有高的空间分辨率，是脑结构研究和脑外科导航的理想医学图像。然而，与临床上广泛应用的厚切片MR图像相比，由于成像成本的原因，薄切片MR图像的应用较少。婴儿的薄层MR图像更为罕见，但对研究人类大脑发育具有重要价值。因此，我们提出了一种从厚切片图像重建薄切片MR图像的方法。提出了一种基于生成性对抗网络（GANs）和卷积神经网络（CNN）的两级重建框架，用于从轴向和矢状面上的厚切片图像重建薄切片MR图像。

首次提出了一种3D-Y-Net-GAN来融合来自轴向和矢状面的MR图像，并实现第一阶段的薄片重建。然后提出了3D-DenseU-Net，然后是一堆增强的残差块，以便在矢状面上提供进一步的详细重新校准和结构校正。并与双三次插值、稀疏编码和3D-SRU-Net进行了比较。

交叉验证35例，独立测试114例，与其它3种方法相比，峰值信噪比（PSNR）平均提高23.5%，结构相似性（SSIM）平均提高90.5%，归一化互信息（NMI）提高了21.5%。定量评估和视觉检测表明，我们提出的方法通过重建更真实的结果和更好的结构细节，优于那些方法。

导言

薄片头部磁共振（MR）图像通常具有1 mm的切片厚度和0的间距。高空间分辨率的薄层头颅MR图像是脑结构分析、体积测量和手术导航的理想选择。然而，薄切片头部MR图像并不总是可用的。临床常规头颅MR图像通常是厚切片图像，切片厚度为4～6mm，间距为0.4mm～1mm。较高的截面厚度导致较低的空间分辨率，这限制了厚截面MR图像在脑相关研究中的应用。

与成人的成像数据相比，婴儿的脑部MR图像更具价值，因为这些图像提供了对出生后人类大脑发育的深刻了解。然而，婴儿脑部磁共振图像的获取更为困难，因为磁共振成像（更不用说薄片成像）很少在没有充分理由的婴儿身上进行。这种情况启发我们发展了一种利用现有的厚切片图像提供与薄切片MR图像相当的空间分辨率的方法，从而提出了一种薄切片MR图像重建方法。

这种重建方法也可以用来规范化图像层间距。在多中心、多设备的情况下，该方法可以将不同层间距的MR图像标准化为均匀的层间距，这对于基于图像大数据的人脑发育统计等数据驱动的研究是非常有益的。

薄切片MR图像重建是一个多平面MR图像配准问题。例如，Mahmoudzadeh和Kashou将传统的插值算法应用于所有三个平面上的厚断面MR图像，并在像素损失函数的指导下，将它们与迭代配准算法优化的自动图像配准（OAIR）相结合。该算法的重建结果在视觉上得到了改善，但仅针对成人头部MR图像，对人脑结构相似性（SSIM）考虑有限。此外，薄片MR图像重建可以作为帧内插任务来处理。如文献[3]所提出的，采用基于器官一致性规则的分解重建方法，以获得更高的层间分辨率。薄片图像重建也可以看作是一个超分辨率问题。Yang等人提出了一种利用低分辨率图像块与高分辨率图像块之间相同的稀疏编码来重建高分辨率图像的可训练方法。近年来，随着深度学习技术的发展，卷积神经网络（CNN）和生成性对抗网络（GANs）得到了迅速发展，尤其是在图像超分辨率领域。因此，如果将薄片MR图像重建看作是一个非各向同性的超分辨率问题，深部神经网络强大的建模能力将使其受益匪浅。例如，Heinrich等人最近将3D-SRU-Net应用于非各向同性三维电子显微镜的各向同性超分辨率。我们小组提出了一种基于残差网络的3D-SRGAN重建成人薄层MR图像的方法，但只考虑了在轴平面上的重建。此外，CNNs和GANs被广泛应用于提高MR图像的分辨率。与传统的重建算法相比，DL算法不仅提高了重建性能，而且将重建时间缩短到了几秒，在薄片MR图像重建中显示出优越的潜力。

本文的任务是将多平面特征融合与三维非各向同性超分辨率问题相结合。我们提出的框架受到了几种最先进的DL架构的启发。首先，由于U-Net在生物医学分割领域的良好性能，它通过多尺度卷积和高尺度处理在特征融合问题上有着独特的优势。超分辨率生成对抗性神经网络（SRGANs）从图像中提取低频和高频信息，在超分辨率领域具有显著的性能。此外，增强型深度残差网络（EDSR）是一种新的残差结构，在NTIRE 2017中获得了第一名，为恢复高分辨率图像提供了一种有效的方法。

受上述最新模型的启发，我们提出了一个两阶段重建框架，将轴向和矢状面上的厚截面MR图像映射到它们的轴向薄截面对应图像。具体来说，第一级是一个最小二乘GAN（LSGAN），它带有一个新提出的3D-Y-Net生成器，用于融合轴向和矢状厚截面MR图像并将其映射到薄截面图像空间。第二阶段是3D-DenseU-Net和增强残差模块的级联连接，旨在通过进一步的细节增强来增加统计指标和消除伪影。提出了一种三维梯度校正Loss和自适应Charbonnier Loss（L1 Loss的变体）来集中生成器的优化注意力和捕捉高频差分信息。然后，通过将重建结果与地面真实情况进行比较，对所提出的两阶段框架的性能进行了评估，结果表明，所提出的方法比三种具有代表性的方法（包括双三次插值（bicubic interpolation）、稀疏表示和3D-SRU-Net）更有效。我们还进行了两个实验来进一步验证多平面图像融合的贡献和我们提出的综合损失函数。最后，对论文进行总结。

提出的方法

概述

在图像超分辨率领域，CNNs的性能优于许多传统算法。通过分层空间卷积和可选非线性，CNNs可以从图像中提取的低层和高层特征中学习先验知识，并通过分步卷积和亚像素卷积等上采样操作恢复超分辨率图像。

最近，随着越来越多的最先进的CNN模型，例如EDSR、SRCNN和VDSR，GANs正逐渐与这些流行的CNN模型集成，以保存高频信息。在鉴别器的监督下，驱动生成器使生成的数据与真实数据之间的分布相似度最大化，从而生成更真实的结果。然而，最近提出的超分辨率模型主要是通过相同的因子来提高二维图像的二维尺度。即使将多个模型扩展到处理三维图像，多个平面上的低分辨率图像在单个框架中也几乎不起协同作用。在这项研究中，我们提出了一个基于轴向和矢状厚切片MR图像的两阶段重建框架，以重建相应的轴向薄切片MR图像，其上尺度因子为8，如图1所示。在我们的框架中，我们提出的3D-Y-Net-GAN和3D-DenseU-Net将多层厚切片MR图像完全融合，以协同恢复薄切片图像。在接下来的章节中，我们将详细介绍拟议的两阶段重建框架和拟议的综合损失函数。为了更好地演示该任务，在图2中示出了厚截面和薄截面MR图像的相对空间位置。

图1 提出了一种两阶段的薄层MR图像重建框架。第一阶段是3D-Y-Net-GAN，第二阶段是3D-DenseU-Net。TPMs代表组织概率图，将在后面的章节中讨论

图2 （a） 15片标准化的轴向厚切片MR图像，（b）120片标准化的轴向薄切片MR图像，（c）120片标准化的矢状厚切片MR图像。x、 y和z表示我们用来描述体积的坐标系中的三个轴。L、W和H分别表示MR图像沿x、y和z轴的图像大小。黄线和蓝线说明了它们的相对空间位置。px是pixel的缩写

网络结构

在这一部分中，我们将介绍我们提出的两阶段重建框架。第一阶段是3D-Y-Net-GAN，由3D-Y-Net生成器和条件鉴别器组成，后者产生用于随后的细节校正的主要薄片MR图像。第二阶段是一个3D-DenseU-Net，然后是许多增强残差模块，用于最终的细节重新校准。

输入为轴向厚断面MR图像，尺寸为L×W×H；矢状厚断面MR图像，尺寸为L×W×rH，r表示为沿z轴的上尺度因子。输出为薄片MR图像，尺寸为L×W×rH。请注意，L、W和H分别表示沿x、y和z轴的空间大小。

3D-Y-NET-GAN

作为整个框架的第一阶段，提出的3D-Y-Net-GAN将和作为输入，以r作为放大因子重建薄片MR图像。该生成器由三个部分组成：1）特征提取（feature extraction, FE），2）特征融合（feature fusion, FF），3）重建（reconstruction）。生成器的详细网络结构如图3（a）所示。在我们的例子中，r设为8，并且我们采用基于patch的训练策略来降低计算成本。

具体来说，在第一阶段，的patches大小为32×32×15，和的patches大小为32×32×120。注意，为了进行推断，使用全尺寸MR图像作为输入，而不是图像块patch。

特征提取部分

对于特征提取部分，采用三维卷积层从输入图像中提取特征，采用不平衡步长为[1,2,1]或[2,1,1]的maxpooling层在不同层次上生成不同大小的特征图。值得注意的是，maxpooling层可以忽略某些微小的结构差异，从而在一定程度上减轻配准后不一致所带来的负面影响。

阐明一下，三维卷积层是Convolution + Batch Normalization + Swish。具体来说，Swish是一种新的激活函数，它克服了ReLU引起的死亡神经元（dead-neuron）问题。在我们的框架中，我们将Swish中不可处理的参数设置为1。轴特征提取分支的输出是三个尺度的特征映射：FA1（L×W×H）、FA2（L×W/2×H）和FA3（L/2×W/2×H）。矢状特征提取分支一般与轴状特征提取分支具有相同的结构，产生相似的输出FS1（L×W×H）、FS2（L×W/2×H）和FS3（L/2×W/2×H）。

然而，考虑到和之间的大小差异，在输入时加了具有[1，1，2]步长的3个卷积层组成的格外预处理模块。

特征融合部分

特征融合部分是特征提取部分的拓扑反演。在每个层次上，特征融合部分通过亚像素卷积向上采样多尺度特征映射。具体地说，亚像素卷积是一种正常卷积，然后是像素卷积，这是转置卷积的有效替代。特征提取和特征融合部分在三个层次上连接的方法是受U-Net结构启发而设计的，它充分融合了多尺度特征，保证了结构的对齐，避免了梯度消失问题。

重建部分

重建部分的详细网络结构如图3（b）所示。这一部分是专门为8的大放大系数而设计的。我们采用多路径提升尺度策略来减轻这类伪影，而不是3个提升尺度因子为2的提升采样层的顺序连接，这可能会由于缺乏足够的信息转发或特征重用而拉伸图像并产生严重的伪影。具体地说，路径2-4和路径1-4的输出串联为路径4-8的输入；路径4-8和路径2-8的输出串联为最终卷积的输入。我们使用来表示重建分支的输出，这也是3D-Y-Net生成器的最终输出。

鉴别器

考虑到采用无监督的GAN模型来解决有监督回归问题，由于我们的生成器没有从随机噪声中抽取先验向量，因此，对真实样本给出高分的原始鉴别器在理论上不适用于这个有监督回归问题。

我们的鉴别器被设计为条件结构来作为替代。具体地说，鉴别器可以识别生成器的输入，使得它能够将从厚截面图像到薄截面图像的重建映射分类为“真实”或“假”。详细的网络结构如图4所示。该结构以、和为假输入，、和（ground truth图像，标定好的真实数据）为真输入，输出一个分数张量，用于以后损失函数的计算。

图3（a） 给出了3D-Y-Net的网络结构，如（32,32,15,64）表示空间大小为32×32×15的64通道特征图，如k3s[1,2,1]表示空间大小为3×3×3的卷积核，步长为[1,2,1]。除非指定，否则轴分支和矢状分支之间的内核大小、跨距和特征映射形状是相同的，因此大多数参数仅显示在任一分支中。Dropout 0.3表示失活率为0.3的滴落操作。红色框架代表训练patches；

（b）展示了重建部分的结构。路径表示放大过程，如路径1-4表示将尺寸为L×W×H的图像放大到尺寸为L×W×4H的图像，两个箭头的交点表示卷积前的信道级联。

图4 条件鉴别器的网络结构。请注意，LeakyReLU负的部分斜率设置为0.2。是真样本，是假样本，和是生成器的输入。k表示内核大小，f表示过滤器的数量。所有的失活率都设为0.3。

3D-DENSEU-NET

作为整个框架的第二阶段，提出了3D-Dense U-Net，并在其后叠加2个增强残差模块进行细节再校准，其网络结构如图5所示。细节再校准的关键在于信息的重用。为了重用轴厚截面图像，我们只需根据轴厚截面图像对应的空间位置将插入到中，即。通过这种方法，可以方便地利用轴向厚断面图像对轴向图像进行校正。重用矢状面厚截面图像时，不应用切片插入。主要原因是我们想重用所有的切片。但如果同时使用和插入的矢状切片作为第二级网络的输入，则在3D-Dense U-Net中会引入更多的矢状切片信息，从而降低轴面图像的质量。基于上述考虑，我们将、和设置为3D-Dense U-Net的输入，并让表示最终输出的薄片MR图像。值得注意的是，我们采用的密集架构允许将先前卷积层的输出传递到几个卷积层，根据[21]，[25]，这些卷积层可以充分利用low-level和high-level特征。

图5 第二阶段的网络结构。（a） 是3D-Dense U-Net；（b）是增强残差模块。红色框架表示训练patches。×0.5表示值衰减系数为0.5

此外，为了防止顶层和底层跳接造成的模糊和结构失真，我们在通道连接之前应用值衰减来平衡不同级别的特征映射。此外，尾部增强的残差模块也被设计用于类似的考虑，因为通过顶层跳跃连接的浅层特征可能会损坏最终输出。如果没有传统的batch normalization层，增强的残差模块也是首选的，因为它们减少了GPU RAM的使用，从而在训练阶段允许更大的batch size。

考虑到有限的GPU容量，收敛速度和感受野之间存在一个权衡。具体地说，相对较大的斑块大小导致更大的感受野，因此卷积核可以看到更多有用的信息。但它也降低了我们可以使用的最大batch size，这可能会损害收敛速度，特别是在批处理大小已经很小的情况下。在超参数搜索之后，我们基于48×48×48大小的随机抽样块训练3D-DenseU-Net，在收敛和感受野之间取得平衡。

值得注意的是，3D-DenseU-Net和3D-Y-Net-GAN是分开训练的，而不是端到端的。有两个主要原因可以解释这一点。首先，单独的训练可以保证3D-Y-Net-GAN的初始重建功能，并且可以分离两个阶段的功能。其次，如果使用可接受的batch size，两个三维DL模型的端到端训练目前在我们的GPU资源上是不可行的。

损失函数

为了训练3D-Y-Net-GAN从和到的映射，我们需要搜索网络参数的集合，得到最小化生成器损耗函数的最优参数，如2.2.1所述，其中G为生成器，为ground truth图像。

为了找到一个损失函数来评估生成的图像和ground truth图像之间的差异，我们设计了一个损失函数，它由自适应Charbonnier损失、3D梯度校正损失、对抗损失和L2权重正则化项组成：

式中，λ1、λ2和λ3表示各自项的权重。以下各段将进一步讨论上述四个组成部分。考虑到第二阶段的3D-DenseU-Net不是基于对抗学习的，我们使用与3D-Y-Net-GAN相同的损失函数来训练它，除了将λ2设置为0。

自适应Charbonnier损失

在有监督回归问题中，L1和L2范数得到了广泛的应用，因为像素级的约束对于保证基本的SSIM（结构相似性）是非常重要的。然而，L2范数往往导致结果过于平滑，L1范数不加区别地惩罚预测偏离ground truth的行为。在一项研究中，Charbonnier损失（L1范数的可微变体）比L1和L2范数表现出更好的性能和更高的鲁棒性。在另一项研究中，引入了三次加权均方误差（MSE）损失，以强调“困难”区域的性能，这些区域表示生成图像和ground truth图像之间像素级差异相对较大的区域。然而，通过双三次插值得到的ground truth图像和上采样图像之间的差异并不总是作为训练过程中实际困难区域的一个好指标，而且在面对较大的放大系数时更糟。因此，我们建议使用由当前生成的图像和ground truth图像之间的差异计算的动态系数来使Charbonnier损失变得更具有鲁棒性：

其中，ε是一个小值，设置为10-6；（·）²在输入为张量时对其中的元素进行平方，max（·）函数计算张量的全局最大元素，输出为标量。

3D梯度校正损失

Charbonnier损失仅仅解决了像素级的差异，这可能导致对二阶差分信息的关注不足。在这种情况下，我们采用3D梯度校正损失来明确地在沿x、y和z轴的相邻像素之间施加二阶约束，这可以帮助我们的模型生成更清晰的边缘：

对抗损失

为了使生成的图像更逼真，我们使用条件鉴别器来监督生成器的学习过程。考虑到稳健性和执行效率，我们使用LSGAN损失作为对抗性损失。对于条件鉴别器，其损失函数定义如下：

其中D表示鉴别器，E表示数学期望，实际计算输出张量的平均值。为了说明这一点，鉴别器试图使基本真值的得分接近1，而假输入的得分接近0。

生成器试图通过增加假样本的分数来愚弄条件鉴别器。因此，生成器的对抗损失如下所示：

值得注意的是，在训练GANs时，生成器和鉴别器之间的平衡是至关重要的，这意味着我们需要在对抗损失和Charbonnier损失之间取得平衡。因此，我们认为这种对抗损失是生成器损失函数中的一个辅助项，并为其权重λ2设置一个小值。实验结果部分将进一步讨论λ1、λ2和λ3的超参数设置。

L2权重正则化损失

理论上，具有较小范数的参数导致较低的模型复杂度，这表明遇到过拟合问题的可能性降低。因此，在本研究中，我们采用L2权重正则化损失来缓解过拟合问题：

其中表示生成器的所有权重核，而表示L2范数。

实验结果

为了证明多平面MR图像融合的有效性，我们对3例患者进行了消融实验（控制变量）：

1） 我们的完整框架，以轴向和矢状图像为输入（我们的完整框架），

2） 仅以轴向图像为输入的方法的部分版本（我们的部分轴向）

3） 我们的方法的部分版本，只有矢状图像作为输入（我们的部分矢状）。

具体来说，对于我们的部分轴和部分矢状面，我们修改3D-Y-Net生成器，使其具有两个特征提取或特征融合分支，并在第二阶段分别丢弃输入或。在上述网络修改之后，我们有两个部分版本的框架，这两个版本仅在一个平面上利用厚截面MR图像。

为了验证我们提出的综合损失函数，我们在四个病例中进行了另一个消融实验：

1） L1norm+LGC+LAD+LWR，

2） LSC+LGC+LWR，

3） LSC+LAD+LWR，

4） LSC+LGC+LAD+LWR。

为了评估我们提出的重建方法，我们使用了三种具有代表性的方法和我们提出的第一阶段网络进行比较：1）传统的双三次插值，2）稀疏表示（SR），3）3D-SRU-Net，以及我们提出的第一阶段3D-Y-Net-GAN。下面将详细介绍每种比较方法。

传统的双三次插值是一种不可处理的算法，它通过相邻的16个像素来预测像素。稀疏表示（SR）是一种可训练的方法，它为低分辨率图像的每个patch寻找一个SR，然后使用此表示的系数生成其高分辨率对应项。具体地说，我们基于矢状面上的二维切片来训练耦合字典。如引言所述，3D-SRU-Net被提出用于非各向同性三维电子显微镜的各向同性超分辨率重建。在[5]中，当训练原始U-Net的这种变体以从模糊的对等体预测高分辨率图像时，低分辨率和高分辨率图像被联合利用。在我们的论文中，我们增加了它的网络深度，并在它的入口添加了3个卷积层，其跨距为[2,1,1]，类似于我们的第二阶段框架，这样它的上尺度因子被扩展到8，并且可以接受与我们提出的第一阶段网络相同的输入。我们还展示了我们提出的第一级网络3D-Y-Net-GAN的重建结果，以验证第二级网络的有效性。

对于定量评价，我们采用峰值信噪比（PSNR）、结构相似性（SSIM）和归一化互信息（NMI）等指标进行图像质量评价。请注意，我们剪裁了超出有效动态范围的像素[-1,1]，并将生成的MR图像和ground truth图像投射到8bit灰度。PSNR定义如下：

其中，MAX1表示最大像素值，在本例中为255；r表示放大系数，在本例中为8。L、W和H表示生成的MR图像的空间大小，在这种情况下，分别为144、184和120。SSIM通过计算两幅图像的互相关度来测量两幅图像之间的结构相似性，其定义如下：

其中，μa和μb代表两幅图像的各自平均值；σa2和σb2代表各自的方差；σab代表两幅图像的协方差；c1=（k1L）²，c2=（k2L）²是两个防止分母为0的常数，其中k1和k2通常分别设置为0.01和0.03；L表示像素值的动态范围，在本例中设置为255。NMI测量两个变量之间的相互依赖性，定义如下：

其中H（x）是变量x的熵，H（x，y）是X和Y的联合熵，p（xi）是xi的边缘概率分布函数，p（xi，yi）是xi和yi的联合概率分布函数。较高的PSNR、SSIM和NMI意味着生成的MR图像更接近ground truth图像。

数据预处理

我们验证了我们的两阶段框架在婴儿头部薄层MR图像重建中的应用。本文收集了上海复旦大学儿童医院154例2～5岁婴幼儿的厚、薄切片MR图像。对于每个婴儿，我们收集了轴向厚切片、矢状厚切片和轴向薄切片的磁共振图像，具体成像参数见表1。我们随机选择40个样本作为交叉验证数据集，另外65个样本作为独立测试数据集1，其余49个样本作为独立测试数据集2。注意，两个独立测试集的收集时间间隔为半年。我们将空间标准化、灰度标准化和直方图匹配应用于原始MR图像数据的预处理。在训练阶段，我们使用预处理后的厚截面图像作为模型的输入，并使用预处理后的薄截面图像作为ground truth图像。

表1 我们数据集的成像参数

考虑到不同的成像参数（如视野）和不同强度的薄切片和厚切片MR图像，我们观察到原始图像域MR数据的空间错位和强度不平衡，对于这种情况，DICOM格式的原始MR图像不能直接用于我们的实验。因此，我们对所有的原始MR图像进行如下预处理。对于配准，我们使用MATLAB工具SPM12对所有MR图像应用统一的空间标准化，以减轻薄截面和厚截面MR图像之间的空间偏差。我们准确地将MR图像从医学数字成像和通信（DICOM）格式转换为神经成像信息技术倡议（NIfTI）格式。其次，我们分割婴儿大脑图谱，生成完整版本的组织概率图（TPMs），其中包含图像数据中各种组织的概率图，包括灰质（GM）、白质（WM）、脑脊液（CSF）、颅骨、头皮和air mask。第三，SPM12估计非线性变形场，使生成的胎压监测系统与个人的MR图像最佳对齐。然后，根据其自身的估计变形场对MR图像进行扭曲。最后得到了尺寸为144×184×15的、尺寸为144×184×120的和。为了详细配置配准，我们将薄片图像的体素大小设置为1×1×1 mm³，将轴厚截面图像的体素大小设置为1×1×8 mm³，将矢状厚截面图像的体素大小设置为1×1×1 mm³。此外，我们使用ICBM亚洲大脑模板进行精确的正则化，并采用适当的边界框，使得配准的磁共振图像具有如图2所示的精确的空间大小。其他配置保持默认。配准后，由于不同的空间位置和头部形状，可能的偏差最小化。注意，矢状面厚断面MR图像的视场比薄断面图像的视场小，因此的每侧都有未覆盖的头部区域，如图2（c）所示。为了避免的结构不完整性，我们在中对相应的区域进行了上采样，并简单地使用它们来填充中的未覆盖区域。由于SPM12不能保证所有样本都能成功配准，所以我们在交叉验证数据集中发现了5个配准不良的样本，并将其排除在外。因此，35个样本构成了所有实验的实际交叉验证数据集。

此外，考虑到已注册的MR图像具有16位灰度，并且在不同的受试者之间具有不同的强度，我们使用简单的线性变换将所有MR图像的强度标准化为[-1,1]。然后，我们将直方图匹配算法应用于所有以固定样本为参考的MR图像，以消除直方图不平衡。

为了扩大我们的训练数据集并缓解数据驱动的DL模型的过拟合问题，我们采用了数据增强的方法，对我们的训练数据集应用径向变换和镜像反射。

实验装置（参数设置）

我们在交叉验证数据集上采用5倍交叉验证来评估我们的框架。对于s折交叉验证，我们将35个样本的交叉验证数据集随机分成2部分，其中7个样本作为验证数据，另28个样本作为训练数据。对于数据增强，我们将径向变换和镜像反射应用于训练数据，使其在第一阶段扩大到336个样本，在第二阶段扩大到56个样本。所有的验证过程都应用于5次迭代。为了进一步验证我们提出的模型的泛化性，我们选择了一个交叉验证性能最好的模型，并在65个样本的独立测试数据集1和49个样本的独立测试数据集2上对其进行了评估，其收集时间间隔为半年。

对于3D-Y-Net-GAN，我们随机抽取每个体积的12个patches，大小为32×32×15（用于）和32×32×120（用于和）。mini-batch size和epoch分别设置为16和200。对于生成器，我们使用动量参数β1=0.9的Adam优化器，并采用初始学习率为5×10-4、衰减步长为252、衰减速率为0.989进行逐步调整。我们使用相同的优化器和学习率作为鉴别器。我们用一个He 标准初始化器初始化生成器和鉴别器。我们将LG中的λ1、λ2和λ3分别设置为0.2、0.02和0.1。

对于3D-DenseU-Net，我们随机抽取每卷80个大小为48×48×48的patches。mini-batch size和epoch分别设置为12和300。我们使用β1=0.9的Adam优化器，并采用学习率初始值为5×10-4、衰减步长为373、衰减率为0.989的逐步调整。我们用He标准初始化器初始化它，并在其损失函数中将λ1和λ3分别设置为1和0.001。注意，不像训练，推断不是基于patch的。相反，它是基于整个MR图像的。因此，我们的方法不需要特殊的后处理。

对于稀疏编码方法（SR），我们为耦合字典训练设置适当的参数。具体地，我们将字典大小设置为512，patch数设置为100000，patch大小设置为13×13，稀疏正则化设置为0.15，重叠设置为12。值得注意的是，对于双三次插值和SR方法，由于其局限性，我们仅使用轴向厚断面MR图像。

对于3D-SRU-Net，在保持良好可比性的同时，选择适当的超参数以保证其最佳性能。具体地说，我们考虑了为32×32×15，和为32×32×120。我们将mini batch size和epoch分别设置为32和300。我们采用参数为β1=0.9、初始学习率为5×10-4的Adam优化器和[5]中采用的双三次加权MSE损失函数。

SR方法在MATLAB2017a中实现，训练过程大约需要10小时，而重建过程大约需要每个样本2小时。所有的DL方法都是用Python3.6.2和TensorFlow1.3实现的，运行在NVIDIA Titan Xp GPU上，内存为12gb。我们的3D-Y-Net-GAN训练耗时约20小时，3D DenseU-Net训练耗时约20小时，3D SRU-Net训练耗时约11小时。

输入数据的消融实验

在这一部分中，我们设计了一个实验来演示不同输入数据的影响。三例的重建结果如图6所示。与单平面厚断面图像相比，基于轴、矢面图像的重建薄层MR图像具有更多的结构细节和更少的失真。这是因为多平面厚截面MR图像可以融合，从而有助于协同重建任务。其定量评价总结见表2，说明多平面MR图像融合重建方法可以生成与ground truth图像相似性较高的薄片图像。

表2 不同输入数据（PSNR、SSIM和NMI）的薄层MR图像重建方法的定量评价

图6 可视化比较以显示不同输入数据的贡献

损失函数的消融实验（控制变量）

在这一部分中，为了验证每一项在我们提出的综合损失函数中的贡献，我们设置了三个对比实验来证明自适应Charbonnier损失、梯度修正损失和对抗损失的有效性。注意，这个消融实验是基于我们提出的3D-Y-Net-GAN，这里我们不进行5倍交叉验证。其重建结果如图7所示。从可视化比较中可以看出，与自适应Charbonnier损失相比，L1范数会产生模糊图像。与我们提出的损失函数相比，基于无梯度校正损失的损失函数的结果显示出更少的尖锐边缘。与我们提出的损失函数相比，没有对手损失的损失函数生成的图像不太真实。表3所示的定量评估进一步验证了我们提出的损失函数的贡献。

表3 不同损失函数（PSNR、SSIM和NMI）对薄层MR图像重建方法的定量评价

图7通过可视化比较，说明了本文提出的综合损失函数的有效性

与其他方法的比较

在这一部分中，我们设计了一个对比实验，通过与现有的三种方法（传统的双三次插值、稀疏表示和3D-SRU-Net）的比较来评估我们提出的方法。此外，我们还展示了第一级3D-Y-Net-GAN的结果，以验证第二级网络的有效性。图8显示了采样间隔中心的特定切片的重建结果。与其他三种方法相比，我们提出的重建框架生成了最真实的MR图像，更接近于图8最右边的ground truth图像。

图8 四种重建方法的视觉比较。Color bars显示了残差图像的强度范围。第一、第四、第七行分别使用四种不同的方法来说明重建的薄片MR图像的轴向、矢状和冠状视图。第二、第五和第八行显示了局部放大视图。第三、第六和第九行展示了误差图

传统的双三次插值方法重建结果模糊，存在严重的细节失真和伪影，部分原因是其接收范围有限，结构不可处理，缺少矢状面信息。

稀疏表示方法（SR）产生的结果比双三次插值更平滑，具有相对较好的组织一致性，但由于其2D感受野和有限的建模能力，在矢状面和冠状面仍然输出较差的结果。

虽然3D-SRU-Net重建的薄片MR图像伪影较少，但其效果比我们提出的框架差。有两个因素可以解释它的糟糕表现。首先，由于其单级结构，3D-SRU-Net不可避免地存在建模能力不足的问题，因此无法在特征融合、上采样和细节保存之间提供平衡，这导致矢状面重建的性能较差。其次，基于浅层特征的放大路径1-8通过顶层跳过连接。这种设计的潜在缺点是，由于具有小的卷积核尺寸和非常大的放大因子的微小跨步卷积，而产生严重伪影的特征通过顶层连接直接传递到最后几层，这会损害重建结果。

在特写镜头中，我们注意到，我们的框架在第一阶段重建后重建了空间上更接近ground truth图像，并在第二阶段细节重新校准后恢复了更多的矢状面和冠状面组织细节，这反映了我们提出的两阶段重建框架的有效性。

表4总结了总体实验结果，我们比较了上述指标的平均值、标准差和中值。我们在三个不同的数据集上展示了实验结果，以说明我们提出的方法的可推广性和稳健性。

表4 薄层MR图像重建方法的定量评价：PSNR、SSIM、NMI和MAE

在PSNR、SSIM、NMI和平均绝对误差（MAE）较高的情况下，我们的方法优于现有的方法。具体来说，与不可训练的双三次插值方法相比，我们的方法可以从训练样本中学习以生成具有更好组织一致性的图像。与SR方法相比，我们的方法可以利用三维接收场和更大的建模能力来恢复更真实的薄片图像。另外，注意SR方法在独立测试数据集2上的统计结果比在独立测试数据集1上的统计结果差，这表明我们的模型在处理不同数据集时比SR方法具有更好的鲁棒性。与3D-SRU-Net相比，我们的整个框架能够更好地学习从厚切片MR图像到相应的薄切片MR图像的映射，即分别处理特征融合、上采样和细节再校正，并且由于神经网络的建模能力有限，将为神经网络分配一个清晰的任务。最终结果的改进进一步证明了我们提出的方法的优越性。注意，我们的模型不仅在交叉验证数据集上显示出更好的性能，而且在另外两个测试数据集上也显示出更好的重建质量。另外，由于实验中测试数据样本的数量是我们使用的训练数据样本的4倍左右，我们提出的重建框架具有良好的通用性和鲁棒性，可以应用于更大的数据库。

结论

我们提出了一个两阶段重建框架，从轴、矢状面上的厚切片图像重建婴儿头部的薄切片MR图像。我们提出的3D-Y-Net-GAN，在厚切片MR图像的成对patches上进行训练，重建出初步的薄切片MR图像，用于后续研究。然后，基于第一阶段和原始厚截面图像的输出，我们提出的3D-DenseU-Net被训练为进一步的细节增强和性能改进。此外，我们还提出了一个由自适应Charbonnier损失、3D梯度校正损失、对抗损失和L2权重正则化损失组成的综合损失函数，以实现更有效、更真实的重建。

在不同的输入数据下进行了两次消融实验，并给出了损失函数。可视化和定量评价表明，我们提出的多平面图像融合和综合损失函数有助于提高重建的性能。在交叉验证数据集和两个独立测试数据集的基础上，对现有的三种方法进行了对比实验。定量评价结果表明，与传统的双三次插值、稀疏表示和3D-SRU-Net相比，该方法能够重建出具有较高PSNR、SSIM和NMI的薄层MR图像。请注意，我们显示了平均绝对误差，以证明我们的重建结果具有较低的平均残差，其中我们使用8位灰度进行评估。尽管我们的完整模型的MAE比独立测试数据集2上的第一阶段网络的MAE差一点，但我们的完整模型仍然显示出总体上更好的重建细节，因为它的损失函数专注于惩罚离群像素预测，以生成更真实的图像。此外，我们还展示了由上述四种方法生成的可视化结果，以凸显我们的方法与其他方法相比的性能优势。尽管我们提出的方法的目标是从轴、矢状面上的厚切片图像重建婴儿头部的薄切片MR图像，但它可以很容易地扩展到其他应用场合，例如三平面重建或成人头部MR图像重建。此外，这种重建方法还可以用于图像层间距的规范化，有利于基于图像大数据的数据驱动研究。

学到的东西和改进方法

这篇文章很复杂，介绍了两个阶段而实际实验的时候，用到了四个拼起来的模型：改进后的GAN、上采样的残差连接、改进的U-net和增强残差卷积。而且这两个阶段不能同时训练和运行，是这个论文局限性之一。

但是值得借鉴的地方还有很多，比如对两个方向数据的特征融合操作，以及四个合在一起的自适应损失函数，都可以用在其他模型上。文章也谈到，如果采取三平面的数据，也是可以运用的，但是这需要对模型进行进一步的完善。

另外，评价指标本文也采取了四个指标，PSNR、SSIM、NMI和MAE，但是MAE在本文与其他模型的效果对比上来看显然不是很好，文章的解释是本文的模型更注重细节（因为损失函数惩罚离群像素）。

除此之外，可以对每种方法产生的结果进一步可视化，来凸显本文提出方法的优势。