Geometric techniques for 3D tracking of ultrasound sensor, tumor segmentation in ultrasound images

摘要：本文提出了基于几何代数的不同方法，对超声探头在内镜图像中的跟踪、超声探头的三维分配、超声图像分割(提取肿瘤)、三维曲面重建等方面进行了研究。对超声探头在内镜图像中的跟踪是利用粒子滤波和基于HSV空间阈值的辅助方法进行的。超声探头的位置计算是用共形代数几何（确定每一片在3D空间中的位置）。超声图像每一片的分割使用两种方法：层次集方法和形态学算子方法，以此获得感兴趣的点。从分割的超声图像中得到感兴趣对象的点，然后通过对凸包的细化得到一个三维物体。在几何框架中应用了具有自适应半径的梯形过程。从超声图像获得的点重建3D模型并展示。

综述[cy1] ：立体腹腔镜（两个相机）看不到不透明或遮挡的结构，超声扫描可以获得不透明物体的内部结构。在手术领域同时运用双目立体腹腔镜和超声图像可以重建场景中的3D模型。

一、课题背景。表面重建有许多方法。大致可以分为离散方法和连续方法。离散方法是取一组点，计算组合结构。连续方法取一组点，并转化为基本形状（表面或函数），直到它符合点（可以是全局的也可以是局部的）。

由相机得到表面的照片，通常来说，表面的重现由点集得到，3D重建方法的输入只能是一组点或是一组点和法线，或者是距离图像。

二、本文创新点。本文的目标是从图像中获得分割物体的3D重现。需要做的工作：1、在腹腔镜图像中跟踪超声探针。2、估计超声探针的3D位置。3、从超声图像中分割出感兴趣的区域。4、重现感兴趣区域的3D模型。

这项工作的创新之一是所有的计算都是在几何代数框架中完成的。本文框架的流程图如下所示：

本文所做工作如下：1、介绍了数学框架，试图强调这一数学框架在越来越多的工程中的重要性。2、从分割的图像和3D位置获得三维点云。3、从点集中通过算法运算改善表面得到3D表面。4、得到3D模型。

 

（没看懂）数学运算：几何代数：平移、旋转在欧几里得空间当中的表示，和几何代数运算公式。

 

实验[cy2] 程序：实验流程如下：

 

腹腔镜图像的分割和超声探头的追踪：通过双目相机得到左右已经校正的图像，通过匹配得到深度图，并得到重建的3D图像。但是重建的结果并不理想。为了得到更好的图像，通过超声图像分割到感兴趣区域，并追踪超声探头得到感兴趣区域的3D坐标。

一、粒子滤波跟踪器。粒子滤波器过程如下：

step 1: 提取目标区域特征。

step 2: 初始化particle（粒子的个数很影响跟踪的速度）。

step 3: 求particle的transition（这一步的参数会很影响粒子的变化区域，需要对不同的跟踪对象进行调整参数）。

step 4: 求particle区域的特征直方图（特征选取的不合适也很影响结果）。

step 5: 特征的比对,更新particle权重（特征比较的方法也是影响结果的因素）。

step 6: 归一化粒子权重。

step 7: resample根据粒子的权重的后验概率分布重新采样。

step 8: 计算粒子的期望，作为跟踪结果。

从一组粒子中选择n个粒子是为可能的位置、方向和内镜图像中超声探头的尺度而建立的。在本文的实验中，阈值的选取是在观察到最大似然值在0.3左右波动，最小值在0附近波动时被选取的。所以我们试着选择最好的粒子只有当它有足够大的可能值时。

在改进后的粒子滤波后，利用HSV空间中阈值的辅助方法来改进跟踪。

二、改善HSV空间的跟踪。第二阶段的跟踪是基于HSV空间的阈值，当最佳粒子的似然值低于阈值，作为辅助在内镜相机中寻找超声扫描仪。

 

超声图像分割：超声图像分割的目的是分离出对图像(肿瘤)感兴趣的对象。对超声图像进行处理的方法有两种，一种是基于形态学算子，另一种是水平集方法。

 

采用凸壳和自适应剥离工艺进行三维重建：本文改进传统的CH算法使其有更快的运算速度。改进的有以下几点：（a）为了快速逼近真实的C.H，减少需要处理的点的数量。（b）使用分治法和聚类方法来获得最终的C.H.表面S。

一、减少点数量。消除无用点的步骤如下：1、根据它们在原始集合中出现的密度来消除一些点。2、为计算剩余点的CH，本文采取使用分治技术和聚类。在这个步骤中，点消除的动机是给定一个四面体（3D对象），不需要保留不可见点（在对象的另一端）。

二、用自适应剥皮改进CH。给定一组(非结构化的)3D点，我们的目标是得到它们所属的3D对象的近似值。采用了两阶段的方法:第一种方法是在正形几何代数的框架中对S进行Delaunay镶嵌，第二种方法从计算的Delaunay tessel中提炼出第一个近似(asin alpha形状)。

三、细化：剥皮的过程。这个过程从Delaunay镶嵌中选择单一的兴趣区域来得到最终的3D模型。

 

实验结果：

 

结论：本文解决了从双目立体图像和超声图像中获取物体3D信息的问题。用本文的两种方法来分割肿瘤也能在适当速度中得到理想的图像效果。同样地，本文也讨论了如何从点集中得到三维模型。共形几何代数的方法得到扩展运用，可以用来计算CH和并在具有自适应半径的梯形过程中寻找三维物体表示，从而近似地得到了物体的真实表面。一个重要的创新是本文所有的计算都在几何代数的框架中，由此可以用高级语言编写从来得到更广泛的运用。

---

 [cy1]第一章分为两个部分。第一部分为课题研究背景，阐述了3D重建主要的技术方法。第二部分为本文创新点，简单阐述了重建流程和本文所做的工作。

 [cy2]第三章介绍实验仪器和环境。