论文阅读-DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D/4D Lung Models from Single-View

来源： IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS 2020.1

作者： Yifan Wang, Zichun Zhong, and Jing Hua Wayne state university(美国韦恩州立大学)

⚡️ 阅读笔记

🃏基础/背景知识

锥形束CT断层扫描（CBCT）

CBCT就是Cone beam CT的简称，即锥形束CT。顾名思义是锥形束投照计算机重组断层影像设备，其原理是X线发生器以较低的射线量（通常球管电流在10毫安左右）围绕投照体做环形DR（数字式投照）。然后将围绕投照体多次（180次-360次，依产品不同而异）数字投照后“交集”中所获得的数据在计算机中“重组，reconstruction”后进而获得三维图像。CBCT获取数据的投照原理和传统扇形扫描CT是完全不同的，而后期计算机重组的算法原理有类似之处。

CBCT与体层CT（螺旋CT）的最大区别在于体层CT的投影数据是一维的，重建后的图像数据是二维的，重组的三维图像是连续多个二维切片堆积而成的，其图像金属伪影较重。而CBCT的投影数据是二维的，重建后直接得到三维图像。从他们的成像结构看，CBCT用三维锥形束X线扫描代替体层CT的二维扇形束扫描；与此相对应，CBCT采用一种二维面状探测器来代替体层CT的线状探测器。显然，CBCT采用锥形束X线扫描可以显著提高X线的利用率，只需旋转360度即可获取重建所需的全部原始数据，而且用面状探测器采集投影数据可以加速数据的采集速度；CBCT所具有的另一个优势就是很高的各向同性空间分辨力。（来源：百度百科）

🎃 ​文献解决的问题？

In order to build the bridge to directly generate the 3D shape meshes from a single 2D medical grayscale image on the fly.

即时的从单张灰度图像直接恢复三维形状。

工作关键点：

It proposes an end-to-end deep learning method with a lightweight but effective neural network to reconstruct multiple high-fidelity 3D organ meshes with a variety of geometric shapes from a singleview medical image with complicated background and noises.

它提出了一种具有轻量级但有效的神经网络的端到端深度学习方法，以从具有复杂背景和噪声的单视图医学图像中重建具有多种几何形状的多个高保真3D器官网格。

The proposed organ reconstruction network simultaneously learns the optimal selection and the best smooth deformation from multiple templates via a trivariate tensor-product deformation technique, i.e., free-form deformation (FFD), to match the query 2D image.

拟议的器官重建网络通过三变量张量积变形技术（即自由形式变形（FFD））同时从多个模板中学习最佳选择和最佳平滑变形，以匹配查询2D图像。

📑实验的数据和采集？

3D肺部模型和相应的2D医学图像投影上有限，所以通过使用少量3D / 4D幻象数据来生成大量合成的3D-CBCT投影图像及其对应的具有各种几何形状的3D两肺（左右肺）表面网格。

（1、有两种3D / 4D数字体模，即基于NURBS的动态心脏躯干（4D NCAT）体模（提供4D图像和运动）和4D扩展心脏躯干（XCAT）[43]，被用作生成合理数量的3D肺表面网格和相应的3D / 4D-CBCT投影。它们在3D体积图像中都有10个呼吸阶段（例如256×256×150，体素大小为1mm×1mm×1mm）。通过前两种技术生成了542对（左右）肺部，这些肺部具有各种形状和不同的空间布局，以及它们对应的2D单前视图CBCT投影，用做数据集。

2、输入的2D前视图CBCT投影是大小为192×256的灰度图像，像素大小为1mm×1mm。在实验中，我们将数据集分别随机分为446对和96对，分别用于训练和测试。日本的（JSRT）数据库（247个胸部X射线图像） ）[44]用于肺部形状重建。

Given a 3D digital phantom (i.e., a volumetric image) I, we first apply the Snakes segmentation method [29] to segment the 3D lung mask images and then extract the isosurface mesh S from the segmented lung mask image by Marching Cubes algorithm [36]. After that, we employ a variety of shape deformations and spatial translations on S to get a new mesh S. For the organ shape deformation, we first manipulate the coordinates by multiplying a scaling ratio to globally stretch or compress the lung shape in S. The scaling ratios are either constant or gradually change. We then semi-automatically apply local distortions (e.g., dents / concaves, convexes, abnormal parts) on each lung shape using Blender software tool. Both the above global and local deformations are manipulated under the guidance of our collaborative doctors to resemble and cover the real lung shape variations.

给定3D数字体模（即体积图像）I，我们首先应用Snakes分割方法[29]分割3D肺罩图像，然后通过Marching Cubes算法从分割的肺罩图像中提取等值面网格S [36]。 ]。之后，我们在S上使用各种形状变形和空间平移来获得新的网格S。对于器官形状变形，我们首先通过乘以缩放比例以在S中全局拉伸或压缩肺部形状来操纵坐标。缩放比例是恒定的或逐渐变化的。然后，我们使用Blender软件工具对每个肺部形状半自动应用局部变形（例如，凹痕/凹部，凸部，异常部分）。在我们的合作医生的指导下，上述全局和局部变形均得到处理，以模仿并覆盖真实的肺部形状变化。

📈 实验用到的理论或模型？

DeepOrganNet：端到端的神经网络

通过在最佳选择的网格模板上学习最佳变形来从单视图医学图像投影生成多个器官的3D / 4D表面网格。

单图像重建面临的挑战：

1、没有可用数据集，既没有建立的合成数据集，也没有可用的合理规模临床可用的数据集。

**解决办法：**生成大量的3D-CBCT投影图像及其对应的具有各种几何形状的3D两肺（左右肺）表面网格。

（具体的参照Fig.1）

2、图像本身的差异，自然图像一般包含明显的物体轮廓和外观，而且背景一般比较清晰。而X射线图像包含对象内部或从视点遮挡的结构和细节（具有复杂的背景和噪声）。

3、希望同时重建多个对象（本篇论文就同时重建了左右肺。）

网络结构：

DeepOrganNet的体系结构

DeepOrganNet首先使用MobileNets（无完全连接层）将输入图像编码为描述符，然后再使用1×1卷积层（尺寸缩小）。 DW是指深度方向上可分离的卷积块（两个可分离的卷积层，在功能上等同于标准卷积层），数字是每一层/块的输出通道尺寸（即，宽度）。 左或右肺支中的每个模板通过一个独立的完全连接的层（尺寸为193）学习自己的选择权重$w$和变形参数$\Delta P$，其中$\Delta P$值为192，$w$值为1。 在两个分支中具有最高选择权重的变形模板（例如，在此示例中选择模板$L_1$和$R_1$）是根据从另一个完全连接的层学习的平移矢量$\Delta T_r$和$\Delta T_l$进行排列的，以生成最终的组合多器官网格 。

三部分组成：feature encoder block（特征编码器）, deformation block（变形块）, and spatial arrangement block.（空间排列块）。

feature encoder block：

首先将图像编码为潜在描述符，其中包含在重建阶段用于不同目的的有效信息。

用到的图像编码网络是预训练好的MobileNets中的卷积层，然后添加了$1\times 1$的卷积层，以生成具有合适尺寸的图像描述符(MobileNets引入了一个宽度倍增器，它可以以恒定比率减小每一层的宽度，从而使我们有更大的自由度来调整网络，以最适合医学图像场景中相对少量的数据。)
deformation block：

FFD变形（Free-Form deformation）：

FFD是一种可以将物体进行简单自由变形的技术，它将物体嵌入在一个网格之中，通过控制网格的点来控制物体的几何形状。

🛰实验的处理方式和目的？

🚡得出的结果？

1. 和[Pixel2Mesh](Pixel2Mesh：从单帧RGB图像生成三维网格模型 - 知乎 (zhihu.com))进行比较（Pixel2Mesh 从单帧RGB图像生成三维网格模型 ECCV 2018）
   

2、和PSGN（点集生成网络的比较） PSGN----由单张2D图像生成3D点云的深度网络

3D重建结果：

​ Fig 4 实验结果：**colorbar 表示重建误差。**较热的颜色表示较大的误差，较冷的颜色表示较小的误差

4D重建结果：

4D NCAT幻象模型的三个到期阶段。 可以根据输入的2D图像上的红色虚线描绘最大变形，并将重构的3D网格模型上的相应变形映射到统一的颜色图范围（较热的颜色表示较大的变形）。 实体曲面和线框网格分别显示前视图和闭合（膜片）变形。 基于阶段6作为参考，计算阶段8和10的变形。

方法创新和优点：

可用作实时IGRT

🐤推荐阅读（参考文献）

卷积神经网络(CNN) — > MoblieNet

PSGN --点集生成网络

[Pixel2Mesh](Pixel2Mesh：从单帧RGB图像生成三维网格模型 - 知乎 (zhihu.com))