论文阅读-3D Fetal Skull Reconstruction from 2DUS via Deep Conditional Generative Networks

基于深度条件生成网络的二维超声三维胎儿颅骨重建

-----3D Fetal Skull Reconstruction from 2DUS via Deep Conditional Generative Networks

来源：MICCAI 2018

作者：Juan J. Cerrolaza1(B), Yuanwei Li1, Carlo Biffi （Division of Imaging Sciences and Biomedical Engineering, King’s College London, London, UK）

🃏 相关知识

图1.胎儿头部的标准美国扫描。例3名患者在妊娠中期常规超声检查中获得的轴位(绿色)、矢状位(蓝色)和冠状位(红色)标准平面。该图像还显示了从相应的3DUS体积手动分割出的颅骨的3D表示。

🃏 文献目的（解决的问题）

提出了一种新的深度条件生成网络，用于从胎儿筛查过程中常规获取的头部2DUS标准平面进行胎儿颅骨的三维重建。考虑了位于丘脑平面上方的颅区的平滑重建，包括顶骨和额骨，不包括面骨、缝线和囟门。

基于（conditional variational autoencoders）条件变分自动编码器(CVAE)的生成特性，我们的重建结构(RECCVAE)直接整合三个US标准平面作为条件变量来生成一个统一的颅骨潜在空间。此外，我们提出了HiREC-CVAE，这是一个基于每个预测视图的不同临床相关性的分层生成网络。 HiREC-CVAE的分层结构使网络可以学习一系列嵌套的潜在空间，即使在没有某些2DUS扫描的情况下，也可以提供出色的预测能力。

（原有的问题：二维超声的量化检测的异常检出率低于推荐值，有三个主要因素显著阻碍了产科社区采用基于3D的生物测量学：(1)与传统的2DUS相比，缺乏3D超声的经验往往会减缓获取过程；(2)需要新的图像处理解决方案，以实现对体积信息的实时分析、可视化和重建[6]；以及(3)获得3D传感器的机会有限，尤其是在发展中国家[7]。胎儿超声可以说是最具挑战性的成像方式之一，它具有低信噪比、信号衰减和丢失，以及经常由不可预测的胎儿运动引起的随机阴影和闭塞。）

🃏 数据

72例数据集，一个3DUS的头部体积，和至少一个来自冠状、矢状和经脑室轴面的每个标准视图的图像是由有经验的产科超声医师在常规妊娠中期检查期间获得的(即，在某些情况下，每个标准视图有一个以上的图像可用)。这些图像是使用飞利浦Epiq7G US系统获得的，该系统带有X6-1 xMatrix阵列传感器。

数据预处理：使用非局部均值滤波对数据进行预处理，并重新采样到每维0.50毫米的各向同性尺寸；D体积和2D标准平面的大小分别调整到96×96×96体素和96×96像素，如果需要，使用裁剪和零填充。标准平面不使用配准，仅使用翻转或镜像方位一致性(例如，图1中的近似查找集合)。

患者被随机分为两组，58例用于训练，14例用于测试。

🃏 模型方法

In this paper, we present a new architecture to address the problem of fetal skull reconstruction from multiple 2DUS standard views of the head. First we propose a deep generative network using the conditional variational autoencoder (CVAE) formulation. Additionally, we present an alternative hierarchical framework, based on the different clinical relevance of each view. Imposing a specific hierarchy on the 2DUS standard views, the model learns a sequence of nested latent spaces, which allows the network to operate effectively even in the absence of any of the predictive views.

提出了一种基于条件变分自动编码器(CVAE)的深度生成网络。此外，我们基于每个视图不同的临床相关性，提出了一个可供选择的分层框架，该模型对2DUS标准视图施加特定的层次结构，学习一系列嵌套的潜在空间，这使得网络即使在没有任何预测视图的情况下也能有效地运行。

图2，用于胎儿颅骨重建的深层生成网络。（a）基于条件变分自动编码器框架的重构网络。(b) HiREC-CVAE:分层重构网络。

前提知识：

提出了两类基于条件的自动编码器。

Y：胎儿头骨的参数化模型

X1：冠状面 通常仅包含在专用扫描中，用于澄清可疑的发现。

X2：矢状面，确保有一个正常的面部/头部形状。

X3 ：轴面 用于2D生物测定测量(例如，头围和双顶径)。

模型希望通过$X_{1,2,3}$寻找一个$Y^i$, 即$P(Y|X_{1,2,3}$