无标记配准论文阅读1 Automatic Markerless Registration and Tracking of the Bone for Computer-Assisted Orthopae

论文地址

Automatic Markerless Registration and Tracking of the Bone for Computer-Assisted Orthopaedic Surgery | IEEE Journals & Magazine | IEEE Xplore

Published in: IEEE Access ( Volume: 8)发表于： IEEE Access （ 卷： 8）

Page(s): 42010 - 42020页数： 42010 - 42020

Date of Publication: 28 February 2020发布日期：2020 年 2 月 28 日

abstract

为了在计算机辅助骨科手术中实现简单且侵入性较小的配准程序，我们提出了一种基于深度成像和深度学习的自动、无标记配准和跟踪方法。使用深度相机在手术过程中连续捕捉暴露骨骼的RGB和深度图像，并训练深度神经网络首先使用RGB图像定位手术目标，然后分割相应深度图像的目标区域，从中提取目标骨骼的表面几何形状。然后将提取的表面与同一骨骼的术前模型进行比较以进行配准。这个过程可以在手术过程中以 5-6 Hz 的速率动态执行，无需外科医生干预或侵入性光学标记。

在尸体膝盖上进行离体配准实验，根据光学跟踪的地面实况进行精度测量，平均平移误差为 2.74 mm，平均旋转误差为 6.66°。我们的研究结果首次描述了一种在计算机辅助骨科手术中实现自动无标记配准和跟踪的有前途的新方法，表明真正无缝的肢体配准和跟踪是可以实现的。我们的方法通过消除对经皮标记物的需求来减少侵入性。外科医生也无需手动插入标记和收集注册点，这有助于提高手术工作流程的效率并缩短手术室的手术时间。

Introduction介绍 

配准在计算机辅助骨科手术中起着重要作用，因为它定义了患者相对于手术系统的位置，以便术前计划可以与手术部位正确对齐。因此，该程序的所有后续步骤都将直接受到注册准确性的影响。传统上，外科医生有两种方法。在基于图像的方法中，外科医生使用跟踪探头来测量目标骨骼上多个点的位置，这些点与它们根据术前图像（例如计算机断层扫描 （CT） 或磁共振成像 （MRI））生成的平面图上的相应位置进行比较，以计算相对空间变换。相反，在无图像方法中，使用探头扫描骨表面的几何形状，以便可以将通用模型变形到其上以进行术中规划，从而避免了昂贵的术前成像需求。

这两种注册方法都可以定义为“静态”，因为注册只执行一次。然而，在手术过程中，骨头不可避免地会移动，要么由外科医生调整切割位置（在厘米范围内），要么由于切割或组织回缩力（在毫米范围内）。这些运动，无论多么小，如果不加以考虑，都会导致骨切除错误。为了在整个手术过程中使用配准结果，必须将目标骨骼牢固地固定在手术系统上，或者必须将可实时跟踪的标记插入骨骼中，以便系统与骨骼之间的空间关系可以不断更新，而无需重新配准。主动机器人系统ROBODOC（Curexo Technology，Inc.）采用肢体固定，而半主动骨科机器人Mako（Stryker Corp.），Navio（Smith & Nephew PLC）和ROSA Knee（Zimmer Biomet Holdings，Inc.）都使用拧入骨骼的光学跟踪标记。

上述跟踪方法都提供了高精度，但以牺牲可能影响手术结果的其他特性为代价。事实上，骨固定会降低手术的术中灵活性，甚至可能增加医源性损伤和术后深静脉血栓形成的风险[1]–[3]。而将骨固定针或标记针插入骨中的侵入性操作可能会引起感染、血管和神经损伤以及骨折等并发症[3]–[6]。此外，为了完成骨配准，外科医生需要手动收集骨表面上的多个点，这很容易出错，准确性很大程度上取决于外科医生的技能和经验[7]–[9]。最后，骨配准的所有必要准备工作（包括插针、配准点采集等）将不可避免地增加手术室的手术时间，导致效率降低[2]，[10]。

如果配准过程足够快以进行实时重新计算，则不再需要骨固定或光学标记，从而避免上述许多困难。通过持续跟踪骨表面，可以即时重新计算配准，使系统能够考虑肢体的任何运动，而无需侵入性接骨螺钉。目前，商用骨科机器人使用的光学跟踪系统可以提供最低20Hz的刷新率，这是平滑目标跟踪的最低要求。超声可在术中使用来提供骨表面图像以进行配准[11]、[12]，尽管其术中使用的速度和便利性还需要进一步调查。在此背景下，深度成像技术（通常被不同类型的深度相机采用）的发展为骨骼几何测量提供了新的可能性。目前，商用深度相机可以以高分辨率（≥ 640 Hz）的形式实现快速（≥ 30 Hz）和精确（≤ 0.5%）的几何测量。捕获的几何体包含可见的骨骼表面，可用于估计目标骨骼的姿态。

使用深度成像的主要挑战之一是它不加区别地捕获视野中的所有物体，而只有属于目标骨骼的点可用于配准。因此，一种能够分割捕获的深度图像的有效方法是在手术中采用深度成像进行表面配准的关键。图像分割是计算机视觉领域的一个重要主题，因为将图像划分为多个有意义的片段，随后可以提取和处理这些片段是各种应用领域的常见做法。例如，在医学图像分析中，分割可以帮助外科医生分离不同的细胞、组织、器官或病灶以进行诊断、治疗计划等，基于深度学习的医学图像分割研究已经取得了令人满意的甚至人类水平的表现[13]–​[16]，有可能显着减少临床医生的时间、成本和工作量。

作为一种相对较新的成像方式，深度成像尽管在术中重建解剖结构方面具有潜力，但在手术场景中仍然很少应用。据我们所知，深度成像在手术配准中的唯一商业应用是 7D 手术系统 (7D Surgical, Inc.)，它使用深度相机捕获患者解剖结构的虚拟基准，从而将配准时间减少到不到 20秒。然而，仍然需要手动选择深度图像中的目标区域，因此配准仍然是“静态”的，其中使用光学标记来保持配准最新。我们之前的研究采用深度成像进行“动态”骨科配准，无需实验室条件下的标记[17]，[18]。这些实验是在骨模型上进行的，并且必须先对深度图像进行分割，然后才能将配准方法应用于真实的解剖结构。

在本文中，我们提出了一种手术场景深度图像的自动分割方法，其中分割的深度图像随后用于计算机辅助膝关节置换术中的股骨配准，而不需要侵入性标记。虽然在膝关节置换手术中，股骨和胫骨都需要注册和切除，但胫骨注册将经历与股骨注册类似的过程。因此，在这项研究中，我们将无标记配准的演示限制在股骨上，以证明这一概念并在简化的实验设置中展示完整的过程。我们的工作利用来自深度相机的 RGB 和深度图像以及深度学习技术从图像中提取有用的信息以进行自动配准。更具体地说，我们的贡献是三重的。首先，我们通过正常切口创建膝盖解剖结构的像素级标记深度图像数据集，用于股骨分割训练。其次，我们将深度学习直接应用于深度图像分割，并在测试数据集上实现了 87.83% 的平均分割精度。第三，我们使用分段的深度信息进行在线配准，并证明深度成像可用于在膝关节手术中获得无标记和自动配准。

本文的结构如下：在第二节中，开发了深度神经网络来定位目标股骨并从深度图像中提取股骨表面。提出了一种自动标记方法来标记尸体膝盖的图像以进行网络训练。 第三节提出了基于第二节的膝盖分割结果的自动无标记配准方法，并使用另一个尸体膝盖进行了实验测试配准精度。 第四节报告了实验结果，第五节详细讨论了所提出的配准方法，总结了当前的局限性并确定了可能的解决方案。 第六节给出了工作结论，并建议未来工作的进一步发展。

Deep Neural Network Development

在本节中，开发深度神经网络来分割手术场景的深度图像。为了减少分割区域，首先通过处理 RGB 图像来定位感兴趣区域 (ROI)，即本研究中的膝盖手术部位。然后，使用ROI裁剪相应的深度图像进行分割。这两项任务都是使用深度学习完成的，分割输出随后用于股骨配准。

同时使用颜色和深度信息的原因是双重的。首先，深度成像仍然不像RGB成像那样发达和稳定，因此在深度图像中，相当多的像素将没有有效值（即它们的位置无法测量），这使得全局定位深度图像的位置变得困难。根据“破碎”深度图像的膝盖。相对于距离呈指数增加的测量噪声也降低了整个深度图像的可用性。其次，RGB 成像能够提供整个场景的稳健 ROI 估计，但在手术部位的较小范围内，手术灯的高亮度可能会损害对分割有用的颜色特征。手术部位出血也会使颜色条件复杂化，而深度成像几乎不受影响。因此，颜色和深度信息的组合可以利用两者的优势来提供粗略但稳健的定位以及精细分割。

A. Dataset Creation for Network Training

深度图像是描述场景的空间几何形状的地图。与 RGB 图像一样，深度图像也是像素矩阵，每个像素包含三个值。深度图像中每个像素的值不是表示颜色，而是该点相对于深度的 x、y 和 z 坐标相机。由于深度图像和RGB图像共享相同的数据结构，在RGB图像上表现良好的人工神经网络的架构也可以用于深度图像处理，但由于很少有研究将深度成像应用于手术场景，因此没有标记可用于分割训练的手术深度图像数据集。

为了生成训练数据集，我们使用商用深度相机（RealSense D415，英特尔公司）fusionTrack 500 – Atracsys Measurement Solutions扫描尸体膝盖并获取其解剖结构的深度图像。 RGB 图像也与深度图像一起收集，并用于训练 ROI 定位网络。设计了一个机械装置来固定尸体的膝盖，并用一个球形接头来模拟臀部，以便在实验过程中可以改变膝盖的位置和角度。数据收集的实验设置如图 1 所示。 1。

为了便于自动标记深度图像中的股骨点，需要收集在最大曝光下可以看到的股骨表面点作为参考。在膝盖前部制作一个标准切口以暴露股骨远端，然后进行光学标记。

可以通过光学 3D 测量系统（fusionTrack 500，Atracsys LLC）进行跟踪，并将其插入股骨中。然后使用数字化探针扫描股骨表面，并存储其尖端相对于股骨标记参考系的位置。

使用探头扫描整个暴露的股骨表面后，定义股骨标记框中股骨表面Pf的点云，该点云将用于标记深度图像中的股骨点。然后使用深度相机拍摄尸体膝盖的深度和 RGB 图像。另一个标记 Mc 被附加到深度相机，并计算标记帧和相机帧之间的变换。每次收集新的深度图像和相应的 RGB 图像时，Atracsys 系统都会测量 Mc 和 Mf 的位姿。在图像采集过程中设置了膝盖的不同位置和角度，以增加数据的可变性。

实验过程中收集了 2000 多张膝盖的深度图像，以及相同数量的 RGB 图像，并且还记录了每对图像中 Mc 和 Mf 的姿势。为了标记属于股骨表面的点，给定探头测量的股骨点 Pf，对于每个深度图像，可以将股骨点转换为相机帧：

其中TCMc是从相机标记帧到相机帧的校准矩阵，TAMc和TAMf分别是Atracsys系统测量的相机标记和股骨标记的位姿。理论上，可以通过找到 Pc 的匹配点来标记深度图像中属于股骨的点。然而，由于相机标记校准中存在误差，变换后的参考点Pc并未与深度图像中的股骨完美重叠。因此，使用标准迭代最近点（ICP）[19]算法将Pc与深度图像对齐，使得深度图像中的重叠点可以被标记为股骨的表面点以进行分割训练。

在标记了深度图像中的点后，我们扩充了数据集以提高训练性能。首先，我们将深度图像以标记点的中心为中心裁剪成大小为160×160的正方形，并将裁剪中心记录为相应RGB图像的标签，用于ROI定位训练。然后，翻转深度图像以增加数据集的大小。在深度图像中，像素位置（行、列）和像素值（x、y、z）是相关的，因为图像中的像素根据其空间位置从物理点投影。因此，深度图像不能通过简单地翻转像素位置来增强，还需要修改像素值。根据深度相机的坐标系，x轴向右，y轴向下，因此水平翻转深度图像时，像素的x值会改变符号，如果水平翻转，则y值会改变符号翻转是垂直的。通过这种方式，左膝几何形状可以由右膝几何形状产生。旋转也用于增强数据集，出于与上述相同的原因，深度图像中的点在像素旋转（反方向）之前绕深度相机的 z 轴（指向前方）旋转 ±90°。 ）顺时针。对于每个深度图像，像素值乘以随机标量（在 0.9 和 1.1 之间任意设置），以表示不同的膝盖尺寸。

经过数据增强后，获得了超过 10,000 张标记深度图像的数据集，并将其按 6:2:2 的比例分为三组，用于网络训练、验证和测试。

B. Network Architectures

商用深度相机通常具有宽视场，可以捕获大部分环境，因此在典型场景中，只有一小部分图像属于目标骨骼。为了减小分割网络的大小并可能提高其准确性，我们构建了一个定位网络，利用 RGB 信息来估计 ROI 位置，可以在该位置周围裁剪深度图像以去除大部分背景。

ROI 定位网络具有类似于 AlexNet [20] 的架构，有五个卷积层从 RGB 图像中提取特征。然而，由于我们需要保留特征的空间信息，因此我们没有使用网络末端的全连接层进行分类，而是应用 1×1 卷积层将特征图压缩到一个通道，然后对其进行归一化。压缩图中每个元素的值代表该位置的像素属于ROI的概率。然后将压缩图按元素乘以预定义的位置权重图以计算 ROI 位置。位置权重图与最终特征图的大小相同，图中的每个单元格都有两个值，表示该单元格在行和列中的相对位置。 ROI定位网络的架构如图2所示。输入图像被裁剪为给定尺寸（355×627）以适合网络，然后进行增强（例如垂直和水平翻转，亮度和饱和度等随机调整）扩大数据集。在每个卷积层之后使用批量标准化[21]以促进网络训练。

用于深度图像分割的深度神经网络采用“U-Net”架构[15]，它是一个具有对称“U”形状的全卷积网络，如图3所示。输入深度图像被随机裁剪为在输入到网络之前，尺寸为 128×128，输出是一个与输入具有相同分辨率的 1 通道分割图。左侧是典型的卷积层和池化层，可增加特征和合同分辨率，而右侧包含反卷积层以增加分辨率，然后将其与左侧的高分辨率特征连接以组合更精确的输出。最后一层是具有 sigmoid 激活的 1×1 卷积层，将像素的所有特征映射到 0 到 1 之间的值，该值表示该像素属于股骨的概率。 

图 3。
深度图像分割网络的架构。水平数字是特征图的通道数，垂直数字是特征图的分辨率。

C. Network Training and Evaluation

两个深度学习网络都是使用 TensorFlow [22] 实现的，并使用 Adam 优化器 [23] 进行训练。对于 ROI 定位网络，损失函数定义为预测的 ROI 位置与标签之间的平方距离。为了防止过度拟合，在网络训练期间应用了 dropout 和权重正则化。训练后，测试数据集用于测试网络从未见过的图像上 ROI 定位的性能。预测的 ROI 位置与标签之间的平均距离为 5.2（SD：4.3）像素，ROI 定位的一些测试示例如图 4（a）所示。

图 4。
RGB 和深度图像的定位和分割结果示例。三行代表来自不同观察位置的三组结果。 (a)：RGB 图像中的 ROI 定位。红色框的中心是预测的ROI位置，红色框的尺寸（128×128）用于裁剪深度图像。 (b)：与裁剪后的深度图像相对应的 RGB 图像。 (c)：带有标记像素（地面实况、洋红色）的深度图像（蓝色）。 (d)：具有预测股骨像素（青色）的深度图像（蓝色）。 (e)：基本事实（红色）、预测（绿色）及其叠加（黄色）。

深度图像分割网络的损失函数定义为像素误差平方的平均值：

 其中 m 、 n 是输入图像的行数和列数， pij 、 lij 是第 i 行和 j 列像素的预测和对应标签。由于最后一层的 sigmoid 激活引起梯度消失问题 [24]，如果参数初始化不佳，训练分割网络会很费力。为了便于训练，我们首先在最后一层使用修正线性单元（ReLU）激活，并对网络进行多个 epoch 的预训练以获得良好的参数初始化，然后将 ReLU 激活更改为 sigmoid 来计算分割图我们需要（0 到 1 之间的值）。在验证误差停止减少之前，分割网络已训练 250 个 epoch。

有不同的指标可用于测试图像分割的准确性，但大多数指标都是针对二元分类（0 或 1）问题而设计的。我们生成的分割图中的值表示像素属于骨骼的概率，其范围在 0 到 1 之间，而不是二进制。因此，为了评估分割精度，我们需要设置一个阈值将预测值转换为二进制，或者调整用于评估图像分割的通用指标以适合我们的数据格式。

像素精度 (PA) 是计算正确分类的像素与所有像素的比率的指标：

其中 TP 、 TN 、 FP 和 FN 表示真阳性（标签：1，预测：1）、真阴性（标签：0，预测：0）、假阳性（标签：0，预测：1）和假的像素计数阴性（标签：1，预测：0）。给定0到1之间的预测值，我们设置一个阈值来判断预测是正（预测>阈值）还是负（预测≤阈值），并从（3）导出加权像素精度：

其中 p(⋅) 表示该区域中每个像素对计数的贡献是该像素的预测值而不是 1，q(⋅) 表示贡献是 1 减去预测值。
当目标区域与背景相比太小时，使用像素精度可能会产生误导，因为大 TN 可能会导致测量出现偏差。因此，这里使用图像分割挑战中常用的另一种度量，称为交并集（IOU），它不考虑 TN ： 

 Automatic Markerless Registration

A. Markerless Registration Based on Depth Imaging

在定位和分割网络经过训练并达到令人满意的精度后，它们被用来直接处理来自深度相机的 RGB 和深度图像。定位网络根据 RGB 图像提供手术部位的位置，然后用于将相应的深度图像裁剪到所需的尺寸。然后将裁剪后的深度图像输入分割网络，以去除周围组织并获得目标股骨的干净表面，类似于外科医生使用数字化探头手动绘制的表面。
一旦从深度图像获得远端股骨表面，就可以通过将获取的表面与股骨的参考模型进行比较来计算股骨的姿态。通常，该模型来自包含骨骼实际表面几何形状的术前图像，例如 CT 或 MRI 扫描。在我们的例子中，参考几何形状是通过使用数字化探针在最大曝光下扫描骨表面来获取的。 ICP算法是手术配准中精确表面匹配的有效且广泛使用的算法[25]、[26]，但标准ICP需要大量迭代才能达到令人满意的收敛。为了减少迭代次数，从而减少收敛时间，采用了一种更有效的ICP变体，即点到平面ICP算法[27]。一旦通过相对于相机系统的肢体姿势的粗略估计进行初始化，ICP算法将在分割的深度图像和参考模型中搜索每个点的对应点，前者代表后者的子集。可用于匹配的功能。根据经典方法，我们的 ICP 实现计算这些点之间的最佳姿势，并用它来估计更好的候选姿势，然后将其应用于深度图像以搜索更好的对应关系，直到单调收敛到最小值。

由于分割过程将每个点与属于骨骼的概率相关联，因此在计算总点到平面误差时，该值用作该点的权重，使得概率较高的点对 ICP 姿态估计的贡献较大，这有助于进一步提高配准精度。
在我们的配准过程中，目标股骨一旦通过手术切口暴露就可以被配准，并且外科医生不需要手动收集配准点。此外，由于配准可以快速自动执行，不再需要光学标记，这可能有助于缩短手术时间并减少对患者的侵入性。基于深度成像的无标记配准过程图以及与传统配准的比较如图5所示。

图 5。
我们的自动无标记配准与传统骨科配准之间的比较。白色区域突出显示了所提出的无标记配准工作流程，该工作流程不涉及外科医生的干预或侵入性标记，而灰色区域则捕获了骨科导航的传统配准过程。

B. Experiments
实验的主要目的是在不使用侵入性标记的情况下测试全膝关节置换过程中股骨的配准准确性。实验中使用了新的尸体膝盖，并在膝盖前部做了标准切口以暴露股骨远端。虽然配准过程是无标记的，但为了测量股骨配准的准确性，再次使用Atracsys光学跟踪系统，设置与训练数据集收集实验类似，如图6所示。将其插入股骨中，并使用跟踪探头扫描暴露的股骨表面，以获得地面真实测量值。然后使用带有另一个光学标记的深度相机来捕获暴露膝盖的 RGB 和深度流，从中可以定位和提取股骨表面。

图 6。
在新尸体膝盖上自动无标记注册的实验装置。

实验包括两个阶段。在第一阶段，深度相机被放置在尸体膝盖周围的 40 个不同位置，以测量股骨固定到位时的姿势，并在每个位置收集 50 帧以测量静态配准的准确性。第二阶段，固定深度相机，用手随机移动膝盖40-50秒，以评估动态跟踪能力。深度相机连续测量股骨的位姿，并且Atracsys系统跟踪深度相机和目标股骨以进行配准精度评估。目标股骨在深度相机参考系中注册，然后使用相机标记跟踪结果转换为 Atracsys 参考系。为了减少测量噪声引起的误差，对变换后的股骨姿势应用了移动平均滤波器。探头扫描的地面实况也被转换到 Atracsys 参考系中，以测量无标记配准的误差。实验过程中以随机间隔保存深度图像的分割结果，并且还记录无标记配准更新之间的时间间隔。 

定位和分割网络在Python中实现进行训练，训练后保存架构和参数，以便在其他项目中重新加载和重用。用于深度相机控制和无标记配准的软件是用 C++ 编写的，在深度相机中启用 RGB 和深度图像流后，创建两个并行线程来重新加载保存的网络并从两个流中进行推理。1
实验中使用的深度相机与训练数据收集的深度相机相同，即Intel RealSense D415。整个自动注册程序部署在运行 Ubuntu 16.04 LTS、Intel®Core™ i7-4790 处理器和 16 GB 内存的计算机上。没有使用外部显卡。深度图像准备和配准基于点云库[28]，并且使用特征库[29]来促进配准工作流程的编码。结果处理和统计分析在 MATLAB（R2016a，MathWorks，Inc.）中进行。

Results

为了评估在线深度图像分割的准确性，我们在实验过程中随机保存了 20 张带有预测分割图的深度图像。然后，使用与第 II-A 节中描述的相同的图像标记方法，我们获得了地面实况分割。使用加权像素精度和加权IOU来评估分割精度，如表3所示。

配准结果提供了深度相机参考系中目标股骨的位姿，然后将其转换为 Atracsys 参考系，以便与地面实况（即探头扫描的股骨的位姿）进行比较。总体配准误差被测量为围绕股骨远端中心测量的平移和旋转误差，其中旋转误差被描述为单螺钉轴测量，并且在冠状面、矢状面和横向平面中，以便于解释。在第一阶段，我们主要关注静态配准精度，总体误差如表4所示。该阶段配准误差的盒须图如图7所示。

TABLE 4 Translational and Rotational Errors of Markerless Registration

图 7。
3D 和解剖平面中的配准误差的盒须图。中心标记表示中位数，框的底部和顶部边缘分别表示第 25 个和第 75 个百分位数。须线延伸至不被视为异常值的最极端数据点（正态分布数据集的覆盖率约为 ±2.7σ 和 99.3%）。使用“+”符号单独绘制异常值。

第二阶段的目的是测试目标股骨的动态跟踪性能。我们对运动的膝盖进行了3次动态跟踪，运动过程中膝盖始终处于深度相机的视野范围内。每个动作持续 40-50 秒，包含约 250 个测量值。运动膝盖的动态配准误差如表5所示。

表 5 运动中膝关节的动态配准精度

最后，记录实验过程中在线注册更新的时间段。在每个时期，都进行了一系列计算，包括准备RGB和深度图像、从RGB定位网络中识别ROI、从深度图像分割网络中提取股骨表面以及基于ICP的配准。膝关节静止或运动时的时间记录如表6所示。从时间记录中我们可以看出，当前软硬件条件下在线注册的更新率约为5~6 Hz。 

Discussion

这项研究提出了一种用于骨科手术的骨配准和跟踪方法，不需要外科医生的干预或经皮标记。实验测量了所提出的配准方法的精度，平移和旋转的平均误差分别为 2.74 mm 和 6.66°。虽然精度，特别是旋转精度，目前低于使用基于光学标记的传统术中配准方法所能达到的水平[30]，[31]，但这项试点研究的结果仍然有希望，特别是考虑到深度实验中使用的相机不是为亚毫米级精度而设计的，其价格远低于传统配准方法中涉及的光学跟踪系统。深度相机仍然不如 RGB 相机发达，因此深度图像中经常出现噪声和明显的异常值。异常值的数量很少，其中大部分可以通过分割和阈值处理来过滤掉。对于我们使用的深度相机来说，测量噪声更麻烦，因为它会扭曲某些区域，而不是随机影响单个点，从而导致偏差。这种扭曲必然会导致注册不准确，从而阻碍我们的无标记注册方法在现阶段的高风险应用中的部署。在这项研究中，我们专注于提供和验证骨科配准和跟踪的新视角，以激发该方向的更多研究，并且随着未来研究中使用更好的深度相机，配准精度有望显着提高。

与静态配准结果相比，移动膝盖的配准误差更大，尤其是平移误差（p<0.001）。主要原因可能是Atracsys系统和深度相机没有严格同步，因此“地面实况”的测量和配准结果并不完全同时发生，可能导致平移测量存在较大偏差。另一个可能的原因是，由于深度相机本身固有的技术限制，当物体移动时，深度图像的质量可能会下降。深度图像质量较低，不可避免地会在分割和基于 ICP 的配准中引入较大的误差。实际上，膝关节手术中的导航操作是在腿部近似静止的情况下进行的，因此进行移动膝关节的动态配准实验是为了说明“最坏情况”，这不太可能影响实际操作。

在线配准算法的计算时间也是配准性能的一个重要方面。在 95% 的置信度下，注册结果可以在 190 毫秒内更新。目前，在线配准的更新率（5-6 Hz）无法满足临床使用，但我们对计算速度持乐观态度，因为目前仅使用CPU来处理所有数据并进行推断经过训练的网络。有了更多的计算能力和GPU加速，我们相信计算速度可以大幅提高。

所提出的膝关节手术配准方法利用了深度成像和深度学习的力量，可以使患者和外科医生受益。对于患者来说，由于可以通过直接测量骨骼的表面几何形状来记录和跟踪骨骼，因此不再需要将光学标记插入骨骼中进行实时跟踪，从而使手术侵入性更小。对于外科医生来说，手术过程可以得到简化，因为不需要额外的手术来插入标记物。这种自动注册还可以使他们免于手动收集目标骨骼的表面点，从而节省大量时间。一旦骨骼暴露，就可以对其进行登记，从而实现更加流畅的手术流程。这些优势将有助于提高手术室的手术效率，并简化系统设置，最终可能降低手术成本。

除了用于配准之外，基于深度学习的深度图像分割还可以应用于其他临床任务。例如，主动约束对于机器人辅助手术来说是有用的协作控制策略，它可以调节机器人运动以防止进入限制区域[32]，[33]。然而，关于解剖结构的约束的定义，特别是在手术期间变形的软组织，总是具有挑战性，因为没有简单的方法来自动解释患者的解剖结构以定义约束几何形状。我们的深度图像分割为这个问题提供了可能的解决方案。事实上，我们的方法实时数字化解剖结构，如果使用足够的数据进行适当的训练，神经网络可以动态识别解剖结构的不同区域，从而保护重要的组织。深度图像分割方法将外科医生般的专业知识融入快速准确的计算机视觉中，为手术中的智能辅助开辟了许多可能性。

然而，在所提出的配准和跟踪方法可以应用于临床之前，在未来的研究中需要解决几个问题。最直接的方法是选择一款经过医学认证的深度相机，它更精确且适合手术室的手术条件，这将减少这项工作中发现的许多收集不准确的情况。这种深度相机已经在市场上销售，并且已经被用于整形外科系统，例如7D手术系统（7D Surgical, Inc.）。此外，需要收集更多不同膝盖解剖结构的图像（理想情况是在手术场景中）以扩展网络训练的数据集。这将有利于网络推理的泛化，特别是对于变形较大的膝盖，并有助于提高实际使用中的分割精度，从而减少配准误差。

在我们的无标记配准中，只能测量暴露的股骨远端表面的一部分来配准股骨，而近端，即髋中心，不受约束，导致较大的旋转误差。然而，在传统的配准方法中，通常测量髋中心的位置，并用于设置骨骼的机械轴并便于配准。已经证明，当表面点测量中存在随机噪声时，如果在ICP算法中考虑髋关节中心，则可以显着减少配准误差[26]。因此，需要探索一种有效的方法来实时估计髋关节中心的位置，无论是使用传统的图像处理还是深度学习，以便将深度成像噪声引起的配准误差限制在令人满意的范围内。或者，术中可利用超声采集远离膝关节切口的部分股骨表面，如[11]、[12]，这样可以更好地定义骨干方向，提高旋转精度。

Conclusion

本研究提出了一种基于深度学习的深度图像分割方法，可用于实现膝关节手术肢体的自动无标记配准和跟踪。使用尸体数据训练深度神经网络，并部署对深度相机的深度图像进行在线分割，并在离体实验中评估所提出的配准和跟踪方法的准确性和刷新率，这证明了其在静态和静态图像中的有效性。和动态场景。因此，采用机器人和计算机导航的外科手术可以大大简化，从而使手术流程更加流畅，手术室的手术效率更高。这种方法增加了计算机对解剖结构的解释的智能性，无需人工标记，并且进一步的扩展可以应用于许多其他机器人手术系统。