无标记配准论文阅读（二）A Vision-Based Navigation System With Markerless Image Registration and Position-Sensing

文章链接

A Vision-Based Navigation System With Markerless-- Image Registration and Position-Sensing Localization for Oral and Maxillofacial Surgery | IEEE Journals & Magazine | IEEE Xplore

D. Li, M. Zhu, S. Wang, Y. Hu, F. Yuan and J. Yu, "A Vision-Based Navigation System With Markerless Image Registration and Position-Sensing Localization for Oral and Maxillofacial Surgery," in IEEE Transactions on Instrumentation and Measurement, vol. 72, pp. 1-11, 2023, Art no. 5005811, doi: 10.1109/TIM.2023.3241059. keywords: {Surgery;Navigation;Instruments;Cameras;Teeth;Three-dimensional displays;Location awareness;Position-sensing localization;registration methods;surgical navigation;texture-less pose estimation},D. Li、M. Zhu、S. Wang、Y. Hu、F. Yuan 和 J. Yu，“口腔颌面外科基于视觉的无标记图像配准和位置传感定位导航系统”，IEEE 仪器和测量汇刊，卷。 72，第 1-11 页，2023 年，艺术编号。 5005811，doi：10.1109/TIM.2023.3241059。 关键词：{手术；导航；仪器；相机；牙齿；三维显示；位置感知；位置感知定位；配准方法；手术导航；无纹理姿势估计}，

abstract摘要：

口腔颌面外科 (OMS) 的质量很大程度上取决于手术导航的准确性。在本文中，开发了一种基于视觉的无标记手术导航系统，以克服当前可用技术的缺点。改进了患者和手术器械跟踪的注册方法，以提高导航性能。对于患者图像配准，我们提出了一种仅使用形状信息的有效无纹理姿势估计方法。开发了一种创新策略来有效拒绝异常值并提高位姿精度，这是引入几何匹配信息指导PnP计算的首次尝试。对于手术器械跟踪，位置传感标记用于实现稳健、便捷的高精度器械定位。在 3D 打印的上颌骨和下颌骨模型上进行了实验，以评估导航性能。评估结果验证了所提出的位姿估计方法在提高无纹​​理牙齿位姿精度方面的有效性。此外，研究表明，即使在非理想的能见度条件下，位置传感标记也可以高精度定位，这扩大了仪器的运动范围并减小了工具的尺寸。整个系统具有足够小的目标配准误差（TRE）。这些实验结果验证了所提出的手术导航系统能够以令人满意的精度为 OMS 提供实用指导。 

introduction简介 

为了指导手术并减轻外科医生的负担，计算机辅助手术导航在过去的几十年里得到了发展。手术导航可以帮助外科医生根据计算机断层扫描（CT）和超声图像等医学影像进行术前计划和术中指导。在口腔颌面外科oral and maxillofacial surgery （OMS）中，外科医生必须面临视力障碍、手术区域狭窄等困难。因此，开发OMS导航系统既必要又紧迫。手术导航系统的性能很大程度上取决于两种配准方法：患者图像配准和手术器械跟踪。

患者图像配准是为了跟踪患者的位置，这需要确定摄像头空间和CT空间之间的空间关系。目前，OMS存在两类患者图像配准方法：静态导航和动态导航[1]。由于牙齿容易暴露在环境中并固定在颅骨上，因此近年来广泛研究了以牙齿为天然标记的无标记患者跟踪方法。然而，这些研究主要使用通用配准方法，可能无法满足OMS的所有严格要求，如准确性、鲁棒性和实时性。对于手术器械跟踪，以前的大多数工作都使用传统的标记。跟踪传统标记物需要完整的观察，因此不太适合OMS中操作区域狭窄的应用。此外，还有一些方面可以进一步优化，以提高整体导航系统的性能。

为了克服现有技术的缺点，开发了一种基于视觉的 OMS 无标记导航系统。改进了患者和手术器械跟踪的注册方法，以提高整体导航性能。对于患者图像配准，提出了一种仅使用形状信息的有效无纹理姿势估计方法。针对无纹理牙齿特征点匹配异常值较多的问题，提出了一种创新策略。它可以利用一对多的2-D-3-D对应的几何因子来有效地拒绝异常值并衡量内部值的正确性。对于手术器械跟踪，使用名为 HydraMarker1 的位置传感标记来实现稳健、便捷的高精度器械定位。 HydraMarker 具有高密度的自识别功能和抗弯曲性。因此，即使在非理想的能见度条件下也能被检测和识别，并且可以附着在曲面上，从而扩大了手术器械的运动范围并减小了工具的尺寸。此外，利用牙齿的3D扫描模型和2D跟踪框架进一步提高了实际使用中的配准性能。 3D扫描模型有效增强了配准的形状一致性，2D跟踪器缩小了搜索范围并消除了错误匹配。实验验证了所提出的手术导航系统的足够高的精度。主要贡献可以从以下三个方面进行阐述。

1.提出了一种仅使用形状信息的无纹理牙齿的有效姿态估计方法。据我们所知，该方法是引入几何匹配信息来指导 PnP 计算的首次尝试。实验验证了该方法在拒绝异常值和提高位姿精度方面的有效性。

2.位置传感标记用于实现更稳健、更方便的手术器械跟踪。

3.通过引入牙齿的3D扫描模型和2D跟踪框架，进一步提高了实际使用中的配准性能。

本文的其余部分组织如下。第二部分描述了现有患者图像配准和仪器跟踪方法的文献调查。第三节描述了所提出的导航系统的细节和所提出的无纹理姿态估计方法的过程。在第四节中，进行了一系列对比实验来评估所提出的配准方法并验证导航系统的可行性。最后，第五节提出了本文的结论和未来的工作。

Related Work相关工作

OMS手术导航系统的性能主要取决于两个配准步骤：患者图像配准和手术器械跟踪。患者图像配准是为了确定相机空间和CT空间之间的空间关系。手术器械跟踪旨在实现稳健、便捷的器械定位。以下内容分别是这两种注册方式的相关工作。

A. Patient-Image Registration 患者图像配准

目前，OMS 存在两类患者图像配准方法：静态导航和动态导航[1]。静态导航主要使用手术导板支架，该支架是根据患者的CT数据制造的。然而，由于手术过程中没有可视化，静态导航可能会导致手术结果与术前计划之间存在较大偏差。

动态导航系统是作为一种灵活的替代方案而开发的，其中大多数使用光学技术来跟踪患者 [2]。有两种主要的患者图像配准方法：基于基准的配准和无标记配准[3]。基于基准的配准使用 3D 打印的牙模来实现跟踪，该牙模佩戴在牙齿上。患者的姿势是通过光学相机跟踪附着在牙模上的外部标记来计算的。这些基于基准的导航系统要么已商业化[4]、[5]，要么仍在实验室开发中[6]、[7]。然而，OMS的操作领域非常有限。外部标记可能会引入不必要的视线限制。此外，需要识别太多配准步骤来计算牙齿的最终姿态，例如牙模-CT配准和基准标记-相机配准，这引入了额外的误差。标记偏移也会对导航的准确性产生负面影响[8]。

为了克服基于基准的配准的缺点，用于患者跟踪的无标记配准是非常可取的。由于牙齿与周围软器官的对比度较高，因此很容易提取牙齿的轮廓。因此，牙齿可以作为反映头部姿势的自然标记。提出了一种使用立体相机的基于轮廓的 3D 牙齿跟踪方法，用于 OMS 导航 [9]。这种方法要求物体可以很容易地重建，并对立体相机施加了严格的视角，这限制了跟踪空间和鲁棒性。王等人。 [10] 开发了一种视频透视增强现实方法，该方法基于将患者的 CT 牙齿模型与单个相机捕​​获的二维图像进行匹配 [11]。然而，由于所使用的注册方法的限制，导航不够准确。此外，真实牙齿与CT模型之间的形状不一致也影响了准确性。

总而言之，图像配准方法要么进行立体 3-D 重建，然后进行 3-D-3-D 配准，要么将 2-D 虚拟视图与现实视图进行匹配（2-D-3-D 配准）。考虑到牙齿的独特特征，缺乏纹理，3-D-3-D配准在3-D重建步骤中往往会失败。（存疑）此外，尽管已经对无纹理物体的姿态估计进行了研究[12]、[13]，但这些研究主要集中在一般应用，例如机械零件。 OMS的注册方法对准确性、鲁棒性和实时性有严格的要求。一般的注册方法可能无法满足所有这些条件。

B. Surgical Instrument Tracking 手术器械跟踪

之前的大部分工作都使用传统标记或商业跟踪系统来进行手术器械跟踪。设计了一种用于圆柱形刀具跟踪的标记，它由树脂安装底座和一个角上有一个小实心三角形的 3×3 点阵列图案组成[9]。然而，这种类型的标记必须始终保持包含点阵列的平面面向相机，严重限制了手术器械的灵活性。提出了一种单独 x 点特征的检测和定位方法，用于实时和鲁棒的手术跟踪 [14]，但它也需要粘附在平面上。此外，商业跟踪系统也用于手术器械跟踪。王等人。使用 Polaris 跟踪系统进行仪器定位 [10]。虽然商业跟踪系统具有相对较高的精度，但由于附加跟踪球而大大增加了仪器的尺寸，因此其体积太大，不适合在较小的手术区域中使用。此外，对于财务支持有限的用户来说，它的成本相对较高。

总而言之，之前的大部分工作都使用传统标记进行仪器定位。对于重复模式标记和半自识别标记[15]、[16]，跟踪它们需要完整的观察。由于OMS的工作区域有限，相机很难捕获标记的整个图案。此外，对于自识别标记[17]、[18]，人工特征的设计和分布需要遵循平面。 OMS 的手术器械不提供足够尺寸的平面来附着标记。在OMS的临床实践中，视野（FOV）是有限的；同时，要求精度高。因此，传统标记不太适合仪器定位的应用，存在尺寸大、遮挡敏感、抗弯曲能力差等缺点。

Materials and Methods材料和方法

A. System OverviewA. 系统概述

由于OMS手术区域较小，因此首选灵活紧凑的手术导航系统。如图 1（a）所示，该系统的物理设置包括立体摄像机、附有 HydraMarker 的手术工具、监视器和计算机工作站。在手术中，立体摄像机用于患者和手术器械跟踪。虚拟现实手术场景显示在显示器上，指导外科医生的手术。

图1。图。1。
系统总览。 (a) 拟议的 OMS 手术导航系统概述。 (b) 系统中使用的坐标系和变换矩阵。

如图1（b）所示，在所提出的系统中必须配准以下四个坐标系：相机坐标系Tc、手术器械尖端坐标系Ttip提示、CT模型坐标系TCT和3D扫描模型坐标系TS。 CT模型和3D扫描模型之间的配准确定了从Ts到TCT的变换矩阵TCTs。患者图像配准计算从 Ts 到 Tc 的变换矩阵，用 Tcs 表示。从 Ttip 提示到 Tc 的转换（即 Tctip 提示）由手术器械跟踪提供。

B. HydraMarker-Based Instrument TrackingB. 基于 HydraMarker 的仪器跟踪

在所提出的系统中，使用称为 HydraMarker 的位置传感标记来实现稳健且方便的手术器械跟踪。 HydraMarker 是一种类似棋盘的标记，具有高密度的自识别功能和抗弯曲性。我们的例子中使用的模式如图2（a）所示，它包含18×6个完整块，每个自识别单元包含3×3个完整块。如图 2(b) 所示，模仿手术工具的 3D 打印圆柱形笔与 HydraMarker 相连。

图 2. 图 2.
用于仪器跟踪的 HydraMarker。 (a) 生成的 HydraMarker 及其自识别单元。该标记包含 18×6 个完整块，角点数量为 18×6 。左侧自识别单元的密钥是“1 011101100”，而右侧自识别单元的密钥是“0 001100111”。如果中心块是黑色，则第一个数字编码为“1”；如果中心块是白色，则第一个数字编码为“0”。其余九个数字中的每一个都取决于该块中是否包含点。 (b) HydraMarker 附着在曲面上以进行仪器跟踪。

在术前阶段，使用运动结构（SfM）[19]的方法，通过3D重建获得HydraMarker在标记空间中的特征点的3D坐标。术中，可以通过专门为曲面上的棋盘状标记定位而设计的精确算法来检测左右摄像机图像中的角点[20]。这些标记的角点根据其自识别特征被识别为特征点。然后可以通过双目三角测量来计算相机空间中特征点的3D坐标。可以通过将标记空间中的特征点坐标与相机空间中的计算坐标进行匹配来确定标记的姿态。匹配使用迭代最近点（ICP）配准方法。在此过程中，相机只需要观察 HydraMarker 上的自识别特征的子区域，而不是完整的特征。然后，可以根据局部独特的特征来计算标记的位置。因此，即使在非理想的能见度条件下，HydraMarker也可以被检测和识别。

此外，标记-尖端空间变换由枢轴校准过程确定以实现尖端跟踪。带有基准标记的手术器械的枢轴校准是一个可以直接以封闭形式求解的参数估计问题[21]。假设端点在标记帧中的坐标为 MP ，在相机帧中的坐标为 CP ，则可以容易地得到以下方程：

其中 RCM 和 tCM 分别是将点从标记帧变换到相机帧的旋转矩阵和平移向量。 

在固定位置旋转M次后，这M个方程可以重写为矩阵形式如下：

上式可以简写为Mx=b，MP和CP存储在向量x中。因此，标记框中枢轴的坐标可以通过 x=M+b 线性求解，其中 M+ 是 M 的 Moore-Penrose 广义逆矩阵。 

C. Markerless Patient-Image Registration Algorithm

OMS的患者图像配准方法对准确性、鲁棒性和实时性有严格的要求。无纹理对象的通用配准方法可能无法满足所有这些要求。因此，提出了一种基于 2-D-3-D 形状匹配的有效牙齿无纹理姿态估计方法。
所提出的 2-D-3-D 配准方法的流程如图 3 所示，该方法遵循从粗到细的过程。首先，由于缺乏先验知识，采用视图采样方法将模型与输入图像粗略对齐。虚拟相机用于从 3D 模型周围的采样视点渲染大量图像。虚拟相机的内在参数设置与真实相机相同。然后通过Hu不变矩作为相似度度量，从渲染图像中选择最相似的图像集。接下来，基于定向 FAST 和旋转的 Brief (ORB) 特征 [22] 将输入图像与相似图像集进行匹配。在精细配准步骤中，以特征匹配为中介，建立输入图像和3D牙齿模型之间一对多的2D-3D对应关系。提出了一种创新策略来拒绝异常值并衡量内部值的正确性。该策略的主要思想是利用几何匹配信息来有效指导位姿估计。最后，利用 2-D-3-D 对应关系的置信概率构建权重矩阵，并与正交迭代 (OI) 算法相结合，在迭代框架内获得精细的 3-D 位姿 (R,t) 。

图 3.
所提出的无纹理姿态估计方法的流程。

1) Selecting Similar Images’ Set:

在术前阶段，图形 API（例如 OpenGL）用于从牙齿模型周围的采样视点生成许多渲染图像。如图 4 所示，3D 牙齿模型位于中心。所有虚拟相机都指向形成投影球体的牙齿模型，并且相机框架的Z轴与模型的中心对齐。相机到患者的工作距离在 OMS 的已知范围内。因此，投影球体的半径以100毫米为间隔限制在600至800毫米之间。虚拟相机的位置以欧拉角的形式旋转，以10°的间隔进行角度采样。此外，每个投影图像被转换为​​二值图像，并且容易提取投影形状。

图 4.
虚拟相机的投影球体，其中牙齿模型位于中心。在渲染之前，应使用 ICP 将 3D 扫描牙齿模型转换到 CT 模型空间。然后从 3D 扫描模型中分割出上牙和下牙模型进行渲染。 

在粗对准步骤中，输入相机图像与这些投影图像进行匹配。形状匹配的三种常见相似性标准可用于选择相似图像​​集：Hu矩、成对几何直方图（PGH）和Hausdorff距离。比较结果表明，Hu 矩更适合我们的情况，因为它们对平移、旋转和尺度变化更具有不变性。同时，二值图像的计算成本非常小。输入相机图像EI的形状与每个投影图像E2-D的形状之间的相似度测量如下：

其中 hi ，其中 i=1,2,3 指的是 Hu 矩的前三个分量。然后选择相似度S(EI,E2-D)最小的m张投影图像构成相似图像集合。 

2) Establishing 2-D–3-D Correspondences:

选择相似度的最小值S(EI,E2-D)来构成相似图像的集合。
2) 建立2-D-3-D对应关系：
建立 2-D-3-D 对应关系是位姿估计算法的关键步骤。对应关系的正确性直接影响结果的准确性。在术中配准阶段，以一组相似图像为中介，在相机图像和3D牙齿模型之间建立一对多的2D-3D对应关系。首先，提取关键点并在输入图像和每个相似渲染图像之间进行匹配。尝试了三种流行的局部特征来进行点匹配：尺度不变特征变换（SIFT）[23]、加速鲁棒特征（SURF）[24]和ORB[22]。匹配结果表明 ORB 特征由于其二进制模式更适合我们的条件。初始ORB特征匹配结果存在一些不匹配。因此，人为设置一个阈值，并用RANSAC计算单应性矩阵，以消除大部分不匹配。
使用OpenGL深度缓冲区预先保存了投影图像中2D点对应的牙齿模型的3D坐标，因此相似渲染图像与3D模型之间的2D-3D对应关系为已确立的。以ORB特征匹配为中介，可以在输入相机图像中的点与3D牙齿模型的顶点之间建立一对多的2D-3D对应关系。该过程如图5所示。

一对多的 2-D-3-D 对应关系中仍然存在一些不匹配。因此，提出了一种创新策略，利用几何匹配信息进一步拒绝异常值。此外，计算置信概率以衡量内点的正确性。对于每个2-D点，可以使用[25]中的方法对相应的3-D顶点进行聚类，这可以自适应地确定类别的数量。然后，提出了一个包含三个因素的公式来计算每个 3-D 点簇的置信概率。这三个因素的定义如下。
第一个因子 α 定义为簇中 3-D 点的数量，可以计算为

 

其中 ni 是第 i 个簇中的 3-D 点的数量，Nc 表示簇的数量。
第二个因子 β 是簇中 3-D 点的集中度，可以通过 3-D 点与簇中心之间的平均欧氏距离来测量，如下所示： 

其中pi和pc分别表示3维点的坐标和簇的中心，r是表示簇的最大距离的参数，本文设置为15。孤立点往往代表异常值，因此它们的浓度值计算为零。
第三个因素γ是评估2-D-2-D匹配的正确性。使用ORB特征匹配的汉明距离和单应性矩阵的重投影误差来计算输入图像与每个相似渲染图像之间的匹配度γ。它是使用以下等式计算的：

 

其中Qj表示输入图像与第j个相似渲染图像之间的匹配点的数量，||pq−p'q||2表示单应性矩阵的重投影误差。 d(pq,pmq) 是匹配点之间的汉明距离。
簇 γi 的正确性计算为簇中所有 3-D 点的 γj 之和。这三个因素都归一化到 [0,1] 范围内。然后每个簇的置信概率 ωi 计算为 

计算簇中具有最大 ω 的 3-D 点的加权平均值。 然后，将牙齿模型表面的最近的3D顶点作为与输入图像中的2D点相对应的3D点。 对于每个一对多的 2-D-3-D 对应，重复上述过程。 选取最大的 ωi 作为对角元素，构造权重矩阵 W ，它是一个 n×n 对角矩阵，如下所示：

其中 n 是 2-D-3-D 对应的数量。
最后，建立一对一的 2-D-3-D 对应关系和置信概率矩阵 W。 

3) Weighted OI Algorithm:3）加权OI算法：

基于上面建立的2-D-3-D对应关系，可以通过求解PnP问题来计算初始3-D位姿。主要算法采用OI算法[26]，该算法快速且精确地解决PnP问题。此外，将建立的置信概率矩阵W与OI算法相结合。最小化目标函数可以表示为

其中pi=(xi,yi,zi)T是以模型为中心的参考系中的参考点，v^i=(ui,vi,1)T表示pi在归一化图像平面上的投影像点，V ^i=(v^iv^ti/v^tiv^i) 是观测到的视线投影矩阵。 

因此，t 的最佳值可以以封闭形式计算为

其中 R 可以迭代计算。
假设已经得到Rk，我们定义

重复上述过程直到收敛以获得 3-D 位姿 (Rn,tn) ，其中 n 是迭代次数。通过将2-D-3-D对应的置信概率集成到原始OI算法中，改进算法引入了强先验来限制解空间，这对于避免局部极小值和加速收敛有显着帮助。

4) Iterative Framework:

确定初始3D姿态后，可以依靠迭代框架获得细化的3D姿态，如下所述。初始 3-D 位姿表示为 (R0,t0) 。 3D模型通过(R0,t0)渲染得到新的投影图像。然后可以使用投影图像和输入图像之间的交并集（IoU）分数来更新相似图像集，并且将删除最不相似的图像。在每次迭代中，2-D-3-D对应关系和权重矩阵由新的相似图像集更新，并且3-D姿态由加权OI算法求解。获得细化的 3-D 位姿 (Rk,tk)，直到相似图像集不再更新或迭代达到集合数 k 。最后使用束调整（BA）算法进一步优化位姿，然后输出结果。对于实时姿态估计，可以将计算出的当前帧姿态设置为下一帧的初始姿态，以加快收敛速度​​。

5) Bounding Box Tracking:

请注意，牙齿区域仅占据相机视场的一小部分，并且使用核相关滤波器（KCF）[27]框架来跟踪牙齿的边界框，这是一种快速、有效且鲁棒的方法长期目标跟踪。跟踪的目标牙齿区域由第一帧中的边界框定义，该边界框可以由外科医生在术前人工框定。在接下来的帧中，KCF 跟踪器执行帧到帧跟踪。跟踪的边界框可以减少初始图像配准时的搜索范围，并消除杂乱场景引起的错误匹配，提高患者图像配准的准确性和效率。

D. CT-3-D Scan Registration

请注意，从相机的角度来看，真实的牙齿部分被软组织牙龈覆盖，无法根据 CT 数据相应地重建。相机图像与 CT 牙齿模型之间的形状不一致导致患者图像配准不稳定且不准确。为了克服这个问题，使用口内 3D 扫描仪来获得牙齿的 3D 光学重建。（无标记配准是不是不可避免需要做口扫）牙齿的 3D 扫描模型包含清晰的牙龈结构。

CT 模型和 3D 扫描模型之间的整个配准过程只需在术前执行一次。首先，使用半自动分割工具（例如Geomagic）去除被牙龈覆盖的部分，并提取3D扫描模型中暴露的牙齿部分。然后，在应用 ICP 算法之前，应将 CT 模型和 3-D 扫描牙齿模型粗略对齐。主成分分析 (PCA) 用于执行粗对齐，因为 3D 牙齿模型在宽度、长度和高度上具有不同的量值。随后，通过奇异值分解（SVD）得到模型的三个主要方向。结合重心，建立两个模型之间的四点对应关系，并利用现有方法进行粗对准。 ICP算法用于进一步细化配准。

Experiments and Results

在本节中，实验包括三个主要部分：仪器跟踪的不确定性和精度评估、所提出的患者图像配准方法的模拟实验以及整体导航系统精度的评估。
实验前，引导志愿者进行CT扫描，并使用Mimics软件通过多层CT图像重建上颌骨和下颌骨模型。此外，口腔的 3D 扫描模型是使用商用口内 3D 扫描仪 (CEREC Ominicam) 获得的。然后，进行 CT 模型和 3D 扫描模型之间的配准。

A. Physical Setup

实验条件物理设置如图6所示。所用立体相机为海康威视MV-CA023-10GM工业相机（单色，1920×1200像素，CMOS Sony IMX249），基线约为120 mm。通过MATLAB的标定工具箱stereoCameraCalibrator对立体相机进行标定，标定参数中的重投影误差为0.049像素。标定后得到相机的参数，可用于校正镜头畸变。该计算机配备了 Intel Core i7-10875H CPU (2.30 GHz) 和 NVIDIA GeForce RTX 2060 GPU。所有算法均使用C++实现，视图渲染的图形API为OpenGL 4.5。

Fig. 6.

Experimental setup for evaluation.

B. 手术器械跟踪
HydraMarker 印刷在聚氯乙烯 (PVC) 贴纸（220×220 毫米）上，有十列和十行。 HydraMarker 贴纸被切割成适当的尺寸，然后粘贴到 3D 打印的圆柱形笔的曲面上。仪器跟踪从不确定性和准确性两个方面进行评估。
为了评估仪器跟踪的不确定性，在保持工具静态的同时跟踪工具尖端的 x –y –z 位置。跟踪的姿态样本包括成像传感器噪声，其遵循高斯分布。因此，采用标准差σ来评价仪器跟踪不确定度。对每个静态姿势计算 300 个样本，以获得具有统计意义的结果，尖端位置的不确定性如图 7（c）所示。

图 7.
仪器跟踪评估。 (a) 测量阶段。 (b)跟踪精度实验。 (c) 尖端位置的精确评估。 (d)枢轴校准的精度评估。 

跟踪精度用于评价仪器跟踪的系统效果。设计并3D打印了一个测量台，它是由六个正交平面组成的立方体，如图7（a）所示。每个平面加工有5×5个定位点，每两点之间的距离为20毫米。 3D 打印的舞台由 3D 扫描仪（3Shape，丹麦）扫描。将获得的扫描模型空间中的定位点的坐标用作地面实况坐标。实验过程中，将圆柱笔的笔尖放置在定位点上，获得相机框架中的3D坐标，如图7（b）所示。总共测量了 45 个点。使用 SVD 方法点对点配准测量点的坐标及其在扫描模型框架中的坐标。基准配准误差（FRE）[28]计算为跟踪精度，由下式给出

其中R,t是变换矩阵，xi表示相机坐标系中第i个点的测量坐标，yi是扫描模型坐标系中第i个点的坐标。
按照上述仪器跟踪不确定性和准确性的测量程序，HydraMarker 和基于传统标记 [9]、[14] 的仪器跟踪都进行了评估。测量点的空间分布如图7（d）所示。对比实验结果总结于表I中。 

B. Surgical Instrument Tracking 手术器械跟踪

HydraMarker 印刷在聚氯乙烯 (PVC) 贴纸上 (220×220毫米）有十列和十行。 HydraMarker 贴纸被切割成适当的尺寸，然后粘贴到 3D 打印的圆柱形笔的曲面上。仪器跟踪从不确定性和准确性两个方面进行评估。

为了评估仪器跟踪的不确定性，在保持工具静态的同时跟踪工具尖端的 x –y –z 位置。跟踪的姿态样本包括成像传感器噪声，其遵循高斯分布。因此，标准差σ用于评估仪器跟踪不确定度。对每个静态姿势计算 300 个样本，以获得具有统计意义的结果，尖端位置的不确定性如图 7（c）所示。

图 7. 图 7.
仪器跟踪评估。 (a) 测量阶段。 (b)跟踪精度实验。 (c) 尖端位置的精确评估。 (d)枢轴校准的精度评估。 

跟踪精度用于评价仪器跟踪的系统效果。设计并3D打印了一个测量台，它是由六个正交平面组成的立方体，如图7（a）所示。每个平面都经过加工5×5个定位点，每两点之间的距离为20mm。 3D 打印的舞台由 3D 扫描仪（3Shape，丹麦）扫描。将获得的扫描模型空间中的定位点的坐标用作地面实况坐标。实验过程中，将圆柱笔的笔尖放置在定位点上，获得相机框架中的3D坐标，如图7（b）所示。总共测量了 45 个点。使用 SVD 方法点对点配准测量点的坐标及其在扫描模型框架中的坐标。基准配准误差（FRE）[28]计算为跟踪精度，由下式给出

其中R,t是变换矩阵，xi表示相机坐标系中第i个点的测量坐标，yi是扫描模型坐标系中第i个点的坐标。
按照上述仪器跟踪不确定性和准确性的测量程序，HydraMarker 和基于传统标记 [9]、[14] 的仪器跟踪都进行了评估。测量点的空间分布如图7（d）所示。对比实验结果总结于表I中。 

实验结果表明，HydraMarker定位的不确定性和准确性与传统标记处于同一水平。此外，HydraMarker的主要优点是，由于其高密度的自识别特征和抗弯曲性，它可以实现更稳健和方便的仪器定位。实验证明，即使在非理想的能见度条件下也可以检测和识别它，这可以显着扩大仪器的运动范围。此外，HydraMarker可以方便地附着在手术器械的任何曲面上，而无需增加尺寸。

C. Patient-Image Registration Algorithm

通过模拟实验评估了所提出的患者图像配准算法。利用OpenGL模拟了理想的透视相机，并设置与真实相机相同的内参数。实验图像是通过合理的随机姿态模拟生成的。
对于所提出的姿态估计算法，建立 2-D-3-D 对应关系的集合中相似图像的数量 m 是一个重要参数。 m 太小无法保证 2-D-3-D 对应的准确性，但如果 m 太大，则会选择不可靠的图像并增加计算量。因此，m的值从2到20进行采样，以测试对位姿估计精度的影响。如图 8 所示，当 m 取值从 10 到 14 时，平移和（罗德里格斯）旋转角的平均绝对误差仍然相对较低。考虑到准确性和计算量，后续实验中相似图像的数量m设置为12。

图 8.
相似图像的数量对姿态估计准确性的影响。 (a) 平均翻译误差。 (b) 平均旋转误差。 

为了验证所提出的创新策略在拒绝异常值和提高准确性方面的有效性，选择了三种与 RANSAC 相结合的最先进的 PnP 算法：（RANSAC + P3P [29]）、（RANSAC + EPnP [30] ）和（RANSAC + RPnP [31]）来处理我们的算法提取的2-D-3-D对应关系。如图 9 所示，所提出的算法在准确度方面表现最好。

图 9.
我们的算法与结合 RANSAC 的最先进的 PnP 解决方案的精度比较。 (a) 平均平移误差。 (b) 平均旋转误差。

根据所提出算法在准确度上的最佳表现，我们可以合理地将其能力归因于由几何因素构建的权重矩阵。与基于 RANSAC 的 PnP 解决方案相比，所提出的算法有两个优点。首先，大多数姿态估计算法仅仅依赖 RANSAC 和 PnP 算法的鲁棒性来拒绝异常值对应。相比之下，我们寻求基于一对多 2-D-3-D 对应的聚类结果来探索几何因素，以在不使用 RANSAC 的情况下有效地拒绝异常值。其次，我们测量内点之间的相对正确性以提高位姿精度，这是 PnP 解决方案与 RANSAC 相结合所无法实现的。据我们所知，该方法是引入几何匹配信息来指导 PnP 计算的首次尝试。

为了进一步验证所提算法在配准精度方面的提升，与无标记配准方法进行了对比实验[10]。计算平移和（罗德里格斯）旋转的平均绝对误差并总结在表II中。

仿真实验结果验证了所提出的配准算法具有较高的精度，这主要归功于所提出的创新策略在拒绝异常值和提高位姿精度方面的有效性。

D. Navigation System Accuracy

总体导航精度用于评估所提出的导航系统的系统效果，其主要受到仪器跟踪误差和患者图像配准误差的影响。设计了一个模型实验来评估整体导航精度。首先，将CT牙齿模型和转换后的3D扫描模型的STL文件导入Blender（版本3.1，Blender.org）并通过布尔运算合并为一个模型。然后加载半径为0.5mm的小实心球的STL文件，并调整到上颌骨和下颌骨的表面，作为目标点。设计的模型经过 3D 打印并由 3D 扫描仪扫描。扫描模型空间中目标点的坐标被用作地面实况坐标，如图10所示。

图 10.
实验的模型制作。 (a) 设计有目标点的模型。 (b) 三维打印模型。

在实验过程中，将圆柱形笔的尖端放置在每个目标点上以获得其在相机空间中的3D坐标。每个目标点测量60次，取平均值作为测量结果。然后，通过患者图像配准将目标点的参考 3D 坐标从扫描模型空间转换到相机空间。因此，计算参考目标点坐标与测量坐标之间的欧氏距离误差。目标配准误差（TRE）定义为目标点距离误差的均方根（rms）。实验过程如图11所示。按照上述测量过程，对所提出的导航系统与[9]和[10]中的无标记导航系统进行了比较实验。 TRE 在表 III 中给出。

 图 11.
总体导航精度评估。 (a) 上颌骨的实验。 (b) 下颌骨实验。

实验结果表明我们提出的系统具有极高的准确性，这主要归功于系统两个主要配准步骤的改进。对于患者图像配准，我们提出了一种有效的无纹理牙齿姿态估计方法，可以有效拒绝异常值并提高姿态精度。对于手术器械跟踪，使用位置传感标记来实现稳健、便捷的高精度器械定位。此外，还证实引入的3D扫描模型和KCF跟踪器可以进一步提高实际使用中的配准性能。 3D扫描模型有效增强了配准的形状一致性，KCF跟踪器缩小了搜索范围并消除了错误匹配。

E. Discussion

一系列实验结果表明，所提出的OMS无标导航系统具有令人满意的精度。对于手术器械跟踪，实验结果表明HydraMarker的不确定性和准确性与传统标记处于同一水平。 HydraMarker的主要优点是，由于其高密度的自识别特征和抗弯曲性，可以实现更加稳健和方便的仪器定位，从而可以显着扩大仪器的运动范围并减小工具的尺寸。对于患者图像配准，出色的仿真结果验证了所提出的无纹理姿势估计方法在拒绝异常值和提高姿势精度方面的有效性。此外，用于配准的“特征”附近的TRE小于较远区域的TRE[32]，因此应选择靠近手术部位的牙齿部分进行患者图像配准。与其他无标记导航系统相比，所提出的导航系统具有极高的精度。通过引入牙齿的3D扫描模型和KCF跟踪器，进一步提高了实际使用中的配准性能。
应该指出的是，尽管我们提出的导航系统比其他方法表现出优势，但仍然存在一些潜在的问题和局限性。首先，存在影响最终性能的各种误差源，例如相机校准的误差、CT分辨率引起的分割误差以及口内3D扫描仪的3D光学重建误差。分析所有的错误源可以为以后的改进提供解决方案。其次，光照可能会影响位姿计算的稳定性。我们的实验中使用的是普通光源，这可能会在手术部位投射阴影。阴影会增加提取牙齿轮廓的难度。在本实验中，调整相机的光圈以提高对比度并最大限度地减少阴影的影响。尽管如此，阴影问题可能并不是一个主要缺点，因为真正的手术室配备了手术灯，可以照亮手术区域而没有阴影。第三，在真实的OMS中，患者的牙齿通常不规则甚至缺失。但在实际使用中并不影响配准精度。由于所提出的配准方法仅依赖于牙齿的形状信息，因此无论牙齿是否不规则，它都无关紧要。而且，缺失一颗或两颗牙齿的情况也是可以接受的，只要不是全部牙齿都缺失即可。最后，手术器械或血液造成的遮挡会对图像配准产生负面影响。由于大多数 OMS 是在远离牙齿的区域进行的，因此手术器械造成的咬合并不明显。对于血液咬合，如果发生咬合，外科医生可以停止加工步骤，并快速排除血液以确保牙齿暴露。由此可见，闭塞在临床使用中并不是一个严重的问题。

Conclusion结论

提出了一种基于视觉的手术导航系统，具有无标记图像配准和 OMS 位置传感定位。对于患者图像配准，提出了一种仅使用形状信息的有效牙齿无纹理姿势估计方法，揭示了拒绝异常值和提高姿势准确性的有效性。对于手术器械跟踪，位置传感标记用于实现稳健且方便的器械定位。此外，引入了牙齿的3D扫描模型和KCF跟踪器，进一步提高了实际使用中的配准性能。模型实验证明了所提出的 OMS 手术导航系统具有足够高的精度。

在未来的工作中，我们计划通过分析患者的术前和术后CT数据来研究手术计划机制，并开发一个人工智能计划程序，以建立一个更集成的手术导航系统。

我的一点点思考：之前看了另一篇A practical marker-less image registration method for augmented reality oral and maxillofacial surgery | International Journal of Computer Assisted Radiology and Surgery18年的文章也是采用的2d-3d口扫配准的方式，说明这个方法是一定可以跑通的，可是我想做的是3d-3d，本文提到3-D-3-D配准在3-D重建步骤中往往会失败。接下来我会重点查一下有没有3d-3d无标记配准的实现。