3D Reconstruction of Vessels from Two Uncalibrated Mammography Images
从两个未校准的乳房摄影图像中对血管进行三维重建
摘要：本工作的目的是对乳腺血管进行三维建模。仅使用两张未标定的二维乳腺X线摄影图像，以使患者能少受X射线照射。在该方法中，我们首先使用一个非线性优化框架对内部和外部参数进行优化。为此，我们使用存储在文件头中的数据和乳房X线摄影图像中的关键特征。使用优化的参数，提出了3D活动轮廓用于血管的3D建模。然后利用前一步得到的参数，将初始活动曲线逐步演化，直至能量最小化。通过将一组表面点转换为点阵曲面的方法，实现了容器的表面重构。该方法适用于一组乳腺X线图像。在参数优化的情况下，该方法可以得到有前途的三维重建结果。
Introduction : Breast arterial calcification (BAC)乳腺动脉钙化，作为筛查乳房X线的一个偶然发现，代表乳腺动脉中发生的退行性钙化改变。大多数研究显示BAC与冠状动脉疾病、心血管疾病和相关死亡率之间有统计学上的显著关系。许多新技术被开发用于乳腺筛查，其中只有少数技术获得了食品和药物管理局(Fda)的批准，其中只有屏幕X线摄影技术，数字乳腺摄影技术和计算机辅助检测(CAD)已被批准用于乳腺筛查。其他技术，如计算机断层扫描(CT)和磁
共振成像(MRI)，仅被批准作为乳房X线摄影的辅助设备或其他用途。目前，乳房X线摄影检查是确定钙化矿床是否存在的唯一途径。诊断BAC的金标准是X线数字乳腺摄影，这是乳腺的二维投影图像。然而，由于X光仪器的二维投影，大量的乳腺血管三维信息丢失。增加不同投影角度的数目会使病人和医生的X光曝光率更高，这可能会导致由于较高剂量的不透光剂量而产生的不良影响。因此，从少数二维乳腺X线图像中重建血管具有重要的临床意义和诊断价值。
本文提出了一种利用两幅二维未标定乳腺X线图像对乳腺血管三维结构进行建模的方法。在这里，我们首先提取血管的中心线，然后使用存储在图像文件头中的信息和一组相对应特征的来优化内部和外部参数。细化参数被用于为每个视图建立投影矩阵。由于在两个视图之间很难找到每一个点的对应关系，我们利用三维活动轮廓（即三维蛇形）来寻找中心线的对应和三维重建。血管半径的估计有助于首先在中心线周围生成一组点，然后使用现有的一种将云点转换为网格的方法来重新计算来重建血管表面。
在第二节中，讨论了二维x射线图像的三维重建相关工作。第三节解释了我们提出的血管三维重建方法。它提供了校准、3D蛇和表面重建的解释。第四节给出了从一个数据集中提取两条血管的三维重建算法的结果。最后，在第五节中，我们首先提供总结，然后绘制我们的结论和一些可能的未来工作。
Related Work: 近十年来，人们在冠状动脉和血管的三维建模方面做了大量的工作。其中，基于两幅二维图像的三维建模得到了广泛的关注。现有的方法主要包括六个步骤：1)从不同角度采集图像；2)确定图像的几何形状；3)图像失真的校正；4)检测各图像中血管的主要特征，包括分支点、血管中心线和血管直径；(5)利用极几何方法在图像中找到相应的中心线。6)建立血管三维模型。尽管对这些算法进行了不同的分类，但一般的分类是定义两个类：1)基于标定数据的三维建模；(2)未标定数据的三维建模。这两个类别之间的区别是一个单独的校准步骤，以确定成像的几何形状和消除图像失真。校准过程可在成像或更早的期间执行。在成像期间的校准中，病人数据和校准数据被成像在一个屏幕上。这降低了病人数据的可见性。此外，每次都应进行成像的校准。虽然病人成像前的校准不影响数据记录过程，但它应确保随着时间的推移，对数据进行不断的校准。在3D重建过程中这种图像扭曲同样被使用。在基于未标定数据的三维建模中，两幅图像中对应点的最小个数是半自动确定的。通常情况下，为了改善成像几何参数，需要选择多个关键点，如血管的起始点和终点，以及血管分支点。图像之间的关键点匹配是一个具有挑战性的问题。因此，针对血管造影中的对应问题，提出了一种可变模型来跟踪图像上的分支点。经标定后，可利用估计参数进行血管三维重建。为了进行三维重建，必须在两幅图像之间找到相应的血管点。然后，通过三角测量来获得对应于每对对应的3D点。显然，这种方法需要精确的对应关系，而在另一幅图像中找到对应的点也是另一个具有挑战性的问题。虽然已经提出了一些算法来寻找对应关系，但大多数算法都是针对不同纹理的图像而提出的。另一种方法是利用对极几何找到对应关系。在这里，极平面与第二图像的交点形成了一条极线，它将血管切成几个点，其中真正的对应点就是其中之一。然而，找到真正的对应关系仍然是一个问题。不幸的是，由于缺乏纹理，这些算法无法在乳腺X线图像上提供令人满意的结果。
Method： 该方法的新颖之处在于采用了按钮向上重构和自顶向下重构相结合的方法。首先，使用对极约束在两幅图像中发现了一些控制对应关系。具有投影矩阵，通过三角剖分得到三维对应点。算法的这一部分表现为自下而上的方法。然后，在这些控制点之间插入一条三维曲线，并以向上向下的方式开始它的演化。本文提出的两幅二维乳腺X线图像血管三维重建方法分几个步骤进行，并对此进行了解释。
A、Calibration 校准 立体成像的几何形态知识是任何三维重建的重要组成部分。在乳房X线成像中，DICOM文件的头部记录了一些几何参数：1)源到图像平面距离(Sid)；2)源到等中心距离(SOD)；3)像元间隔。(4)增强器尺寸(IS)和(5)二次定位器角度。然而，这些参数不足以重建血管的三维模型。另外，一些本征参数，如斜参数和主点坐标也是未知的。此外，像增强器可能会引起图像的低阶失真。因此，应该在优化框架中利用图像中的特征对这些参数进行细化。然而，DICOM图像文件中记录的参数值可以作为优化参数的初始值。作为斜参数和主点的初值，我们分别设置为零和图像的中心。我们假定第一个投影作为参考坐标。因此，第一视图和第二视图的初始本征(K0)和第一视图和第二视图的投影矩阵(分别为P1和P2)为；
I是3×3恒等式矩阵时，0是3×1 的向量。w、h是图像的宽度和高度。ANG的初始值是根据两幅图像中定位器二次角度参数值的差异得到的。Rx(Ang)表示围绕X轴的旋转矩阵ANG。现在，采用非线性优化算法(Levenberg-Marquard算法)对参数进行优化。这种优化的目标是找到R和t，从而减少这两种类型的错误；1)传递误差，即二维血管骨架提取点与其三维点在两幅图像上的对应反投影之间的欧氏距离。2)代数转移方向矢量的误差，即重建的三维方向矢量在两幅图像上的二维方向矢量与反投影方向向量的差。优化采用以下公式；
其中d(∗)是两点之间的欧氏距离，w是控制方向因子的加权因子，n是从两张图片中提取的对应点对的个数。u（1，i）和u（2，i）是提取出的二维血管骨架，uˆ（1，i）和uˆ（2，i）代表重建后的三维骨架点在这两个视图中的反投影，φ（1，j）和φ（2，j）是被测血管段的方向矢量，φˆ（1，j）和φˆ（2，j）分别是重建的三维方向矢量在两幅图像上的反投影方向矢量。
B、3D Reconstruction by Snake 由于在血管三维骨架附近难以形成初始三维曲线，我们一般将球体表面点视为初始三维蛇形点。这个球体应该能够在三维空间包裹着血管。为此，我们在两幅图像中各选取了二维骨架的中心，然后通过三角剖分得到相应的三维点。蛇（the snake）的总能量是由：
其中，Eint和Eext分别是蛇的内外能量。内部能量促进平滑，外部能量鼓励曲线到图像结构上。为了到达最小能量，我们导出了能量函数的Euler-Langrange方程。显然，能量最小化的答案是EulerLangrange方程的零值。
蛇的3D外部力量被定义为图像特征与蛇投射之间距离的函数。它是按照：
其中q1和q2表示Q在两幅图像上的投影，v是图像特征的一般梯度向量流。当投影蛇到最近的中心线的距离可以忽略不计时，外部能量就会最小。一般梯度矢量流(GGVF)具有良好的外力特性。除了它的收敛性，即使在图像中具有严重的凹性，它在噪声图像中的表现是可以接受的。考虑到血管的波浪形状，建议采用GGVF代替梯度矢量流(GVF)。这个方法的一个优点是，由于蛇是变形的，所以它的投影与图像中的血管是一致的，所以这两个图像之间的对应点问题被隐式地解决了。特别是，在乳腺X线摄影图像不够清晰甚至人工无法判定两幅图像对应点的情况下，这种方法表现出很好的性能。
C、 Surface Reconstruction 三维曲面是在一系列横截面三维轮廓的基础上重建出来的。这些轮廓是围绕每一个点(xi，yi，zi)的三维血管骨架的圆心。此外，各点的血管表面法向量与血管骨架上的切线矢量(xi，yi，zi)垂直。为了确定这些圆的直径(即血管直径)，计算了一幅图像上的投影骨架点到血管壁(边缘)的2d距离。
其中Hi是从投影圆心到血管边缘的二维距离，D代表焦点与图像增强器之间的距离。在这里，(ξi，ηi)显示了(xi，yi，zi)在一个视图上的投影。从一组三维点进行曲面重建有不同的方法。为了重建容器表面，我们使用了一种最好的生长算法，即所谓的球轴算法(BPA)。该算法通过对曲面上给定的一组云点进行插值，得到一个三角形网格。
EXPERIMENTAL RESULTS 为了验证我们提出的血管三维重建方法，我们在人工合成数据和乳房X线摄影数据集上进行了几次实验，并对技术的准确性进行了评估。讨论，谈论。我们将该算法应用于从数据集中提取的两个样本。
A、Synthetic data 为了评估我们的方法，我们生成了人工合成数据，因为对象主要的三维真实模型是难以获取的。下面给出了一个膜体的真实模型及其重建模型。计算了两种误差来评价该方法的精度，即三维重建误差和二维重投影误差。利用3DMAX建模软件建立了血管的三维模型的人工合成数据。对三维模型进行体素化，为每个体素分配Hounsfield单元号。这主要是为了建立一个三维CT图像的模型。三维模型的数字重建射线图（Digitally Reconstructed Radiograph ，DRR）是使用Plastimatch软件包生成的。DRR是一种合成的放射线图，主要用于从三维CT图像生成二维图像。在我们的工作中，我们使用DRR从三维模型的两个不同的角度来模拟两幅二维图像。此外，还提供了每个投影的内部和外部的真值真实参数。图1表示初始和最终蛇的三维点及其在收敛后的图像上的投影。最初的蛇包括容器的端点和分支点。结果表明，该算法具有较好的提取血管三维结构的能力。
约150次迭代后，当投影误差作为蛇的外部能量减小时，均方根误差从9个像素降低到1个像素(图2(b))。
三维重建模型和人工合成数据的原始模型如图3所示。
为了更好地表示模型，将原模型转化为Y轴相对于重构模型。由于我们在合成数据集中有了原始模型，所以我们能够在三维空间中对我们的方法进行评估。我们计算了重建模型的每个三维点到其最接近的原始模型点的距离。因此，选择了RMS、最小值、最大值、均值和标准差等评价指标来表示重建模型和原始模型的贴近度。Table 1显示了对这些合成数据进行重建的评价。
重建后的三维模型在视觉上和定量上都与真实的三维体模非常接近。三维骨架点误差均值和偏差分别为6.15和7.76mm，最小为0.22，最大为61.41mm，均方根为9.90。当血管部分自我闭塞时，重建效果不佳。因此，在这个位置的3D结果模型中可能存在偏差。这导致了三维重建误差的增加。
B、Real data 作为真实的数据集，我们使用了两幅二维乳腺摄影图像，并提取了血管。这些图像是从MLO(内侧斜)和CC(颅尾)视图拍摄的。为了优化内部和外部参数，我们使用了存储在DICOM文件头中的信息作为初值和图像上的一组对应特性作为优化框架的约束，以细化参数。由于乳腺血管是复杂的，寻找对应物并不是一件容易的事情。因此，优化可能不能给出足够精确的参数值。图4示出了对乳房X线摄影图像样本进行校准的结果。
在这个例子中，九个参数被认为是优化的。这些是径向畸变(s)，R，t和投影中心(cx，cy)。优化算法迭代，直到反投影误差最小化(图4(C)。可以看出，两视图的平均反投影均方根误差在迭代过程中迅速减小，最终达到稳定值。优化后的均方根误差由4.47减小到2.12，图像大小为2294×1914像素。在对成像参数进行细化的基础上，利用三维Snake技术对血管的三维结构进行了估计。血管周围球面上的一组点被假定为三维曲线的初始位置。选择了该模型的原因是为了保证血管的每个部分都能被重建。显然，由于由优化参数构造的投影矩阵的不精确性，有些点不能收敛(见图5)。然而，通过消除两幅图像中投影不够接近血管中心线的非收敛三维点，仍然可以得到血管的一般结构。表II显示了合成数据和真实数据中最终蛇的再投影误差。然而，本表显示了蛇的可接受的收敛性。
最后一条蛇与血管的中心线之间的距离是可以忽略不计的。
图6给出了图5(a)和图5b)的真实数据集的最终重建结果，它们分别是第一视图和第二视图。图6(A)显示了r中重投影误差的减小。这种模式的建构。图6(c)和6(d)是以另外两个视角重建的三维模型(图6b)。如图6所示，图7给出了另一血管的最终重建结果。
CONCLUSION 在本文中，我们提出了一种从两种不同角度拍摄的二维乳腺摄影图像进行三维重建的方法。首先，提取图像中与血管相关的中心线。。然后，利用存储在图像文件头和一组对应特征的信息，实现了一个非线性优化框架，以减少再投影误差，从而找到最优标定参数。估计参数用于建立两个视图的投影矩阵。在三维重建方面，采用三维活动轮廓(即三维蛇形)技术对提取的中心线进行三维建模。血管表面重建是基于中心线各点血管半径的估计和点云网格技术的应用。
准确的血管提取可以显著提高重建效果。此外，更多对应的特征对提高了投影矩阵的精度，从而使三维建模更加精确。最后，从两幅乳房X线摄影图像中自动找到对应物是未来可能的工作之一，可以加快运行时的速度。
403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
