Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译

0. 摘要

在单目肝脏腹腔镜检查中，增强现实 (AR) 需要将术前 3D 肝脏模型配准到腹腔镜图像上。这是一个难题，因为术前形状与术中形状不同，并且肝脏在腹腔镜图像中仅部分可见。以前的方法或者是刚性模型手动配准，或者是结合视觉信息和生物力学模型的自动配准。本文提出了一种集上述方法优点于一身的新混合方法。视觉信息能够捕捉机器感知，而用户交互利用外科医生的先验知识和对患者解剖结构进行理解。本文分别在体模、动物离体和患者数据上评估配准准确性。所提出的配准在准确性方面都优于目前最先进的方法。平均配准误差低于文献中腹腔镜肝切除术中肿瘤切除术的 1 cm 肿瘤边缘。

1. 介绍

目前腹腔镜手术的主要难点之一是无法准确定位目标器官的内部解剖结构(由于缺乏触觉信息反馈)。这对于可能包含恶性肿瘤，需要精确切除肿瘤边缘的肝脏来说是一个特别重要的问题。克服这一难点，增强现实 (AR) 是一种很有前景的方法。它的关键思想是将从术前 CT重建的三维模型配准到腹腔镜图像上，肿瘤及其肿瘤边缘或血管结构信息在增强现实中显示。在手术的初始探索阶段，增强现实指导外科医生制定切除计划。下图 1 显示增强的腹腔镜图像示例。腹腔镜图像与肿瘤边界肝脏表面（腹腔镜不可见）以及沿着肿瘤边缘的计划切除路径进行投影重叠。与腹腔镜检查中使用的经典映射方法相比，文献12提出的 AR 系统可以应对肝脏从术前到术中阶段所经历的变形。此外，与从单独的屏幕映射到腹腔镜图像上相比，直接将腹腔镜图像与已注册的实质内结构的术前模型重叠，可以让外科医生对这些结构的真实位置有更直观的视觉效果。

######################无法加载图，系统监测违规##############
图1：增强的腹腔镜图像示例：肿瘤边界（红色）及其肿瘤边缘（绿色）投影到肝脏表面。可见下表面肿瘤（黄色）和主要血管（蓝色）。蓝色标记是规划的切除路径。 从肝脏表面到肿瘤的每一厘米处遍布红点。肿瘤边缘1cm范围进行切除，用于治疗结直肠癌肝转移 (CRLM) 和肝细胞癌 (HCC)。

基于 增强现实AR 的经典腹腔镜引导系统由两个阶段组成：
(i) 初始配准阶段：在此阶段术前 3D 模型与术中腹腔镜图像对齐或配准；
(ii) 更新阶段：在此期间，模型通过跟踪视觉信息自动注册到新的腹腔镜图像。
当前的系统充其量只能处理有限的平滑变化，例如由呼吸、心跳和手术器械操作引起的变化，但会因切割或撕裂等不规则变化而失败。 在这篇文章中，我们专注于初始平滑变形配准阶段 (i)，这是一个非常具有挑战性且目前被高度研究的问题。其原理如下图2所示。

######################无法加载图，系统监测违规##############
图2：术前 3D 肝脏模型与腹腔镜图像的配准。 从 CT 中提取术前 3D 模型，相机代表腹腔镜。 术前 3D 模型包括外表面为灰色的肝脏及其部分内部解剖结构，即黄色为表面下的肿瘤，蓝色为静脉。

注册问题的难度是双重的。 首先，肝脏在腹腔镜图像中仅部分可见；因为肝脏尺寸大且靠近腹腔镜。 其次，肝脏在术前模型和腹腔镜图像之间发生了显着变形；因为气腹（术中吹入二氧化碳气体）和手术器械对其的操作。 我们专注于常规腹腔镜检查，它在计算机视觉方面是一个单目针孔摄像头，并形成了手术室的标准。 很明显，任何为单眼腹腔镜设计的系统都可以扩展到立体腹腔镜。

目前，最有价值的注册方法有两个主要特点。首先，他们仅从图像内容解决注册，而不借助于外部硬件。其次，他们使用由肝脏、肿瘤和血管表面等组织结构组成的术前 3D 模型，这些组织结构通过术前CT数据分割方法重建而成。最先进的注册方法分为手动（文献15）和自动（文献1,11,17）两种。在文献 15 中，术前 3D 模型通过用户交互与腹腔镜图像刚性配准。在文献 1,11 和 17 中，术前模型通过Iterative Closest Point（ICP）按照生物力学模型进行变形，以匹配从腹腔镜图像中提取的视觉信息。这些视觉信息是解剖学标志，包括镰状韧带和下脊，以及轮廓。当前的手动和自动方法都存在重要的缺点，如下图 3 所示。在文献 15 中，刚性假设过于严格，无法准确模拟肝脏变形。在文献 1,11 和 17 中，视觉信息是稀疏的，并且没有足够的信息用来精准配准。尽管原因不同，但这两种情况都会导致配准错误，从而削弱 AR 的可靠性。

######################无法加载图，系统监测违规##############
图3：流行的方法和本文方法的配准结果。上左腹腔镜图像。上右基于视觉信息的自动方法配准结果（肝实质覆盖为灰色，轮廓线为黄色、蓝色和红色）。下左手动刚性配准方法的结果。下右是我们本文提出的混合方法的配准结果；通过基于笼子的触觉交互，将视觉信息与生物力学模型相结合；笼子控制点（红色点）编辑配准，同时利用视觉信息进行自动优化的过程。

我们提出了一种混合注册方法。关键思想是集手动和自动方法的优势高效互补。我们的混合方法通过将用户交互与视觉提示和生物力学模型相结合，扩展并利用了两者（手动和自动）的优势。换句话说，设备和用户感知都是有价值的，应该分别通过视觉信息和交互来考虑。在用户交互和视觉信息同时存在的情况下，我们的混合方法将所有约束捆绑在一个配准过程中。在没有用户交互的情况下，其配准类似于现有的自动方法；在没有视觉信息的情况下，其允许用户在生物力学模型的指导下编辑配准。与现有的手动方法相比，这是一个显着的改进，因为它允许用户充分表达他们在解剖学、先前经验和手操系统空间理解方面的专业知识。本文我们基于笼子模型，通过形状编辑实现了这一想法。笼子是一组围绕器官的控制点，拖动这些控制点以交互方式使模型变形。形状编辑是一个广泛研究的课题。笼子模型由于其灵活性而很好地解决了形变配准。

具体讲，我们使用 Qt 图形用户界面 (GUI) 实现了本文的混合方法。我们的系统完全可以通过触觉交互控制，并且可以快速直观的使用。我们以四种方式将我们的混合生物力学 (HB) 方法与之前的两种方法（手动刚性 MR配准 和文献11中的自动生物力学 AB配准）做比较。

• 第一次评估对象：硅肝体模，重建从 CT 重建获得的患者肝脏形状。模型发生变形，并使用 Structure-from-Motion 来重建它的真实 3D 形状。通过 4 个不同变形数据集（每个数据集 5 个视图）的 20 个视图进行测试配准。配准误差是术前模型和真实模型顶点之间的平均距离。配准误差用来对可见部分和隐藏部分进行评估。
• 第二次评估对象：7 名患者的 7 幅图像。由 5 名外科医生为每位患者进行配准。他们的手动交互包括 自动生物力学方法AB 和 混合方法HB 的视觉信息标记。获得的配准结果用于评估和比较用户间配准的差异性，以及用于配准的原始视图和从插入另一个光学套管针的腹腔镜获得的控制视图中的 2D 重投影误差。配准差异性（定义为顶点位置标准偏差的均方根），在配准的 3D 模型的所有顶点和可见顶点上进行评估。
• 第三次评估：包括腹腔镜图像中可见的肝脏的一组遮挡轮廓片段与原始视图和控制视图中注册的 3D 模型轮廓的边界之间的 2D 重投影误差测量。
• 第四次评估：包括测量离体羊肝的配准误差。将三个内部人工肿瘤注射到肝脏中。对肝脏的初始状态和变形状态进行 CT 扫描，分别获得术前和真实 3D 模型。对三种肿瘤的 MR、AB 和 HB方法 的两个腹腔镜视图的配准误差进行了评价。

2. 相关工作

我们综述了腹腔镜图像的术前 3D 肝脏模型的生物力学配准和 3D 形状编辑方面的相关工作。

2.1 肝脏术前模型配准

本节综述从在单目内窥镜中使用图像内容和使用其他方式的两种方法入手阐述术前肝脏模型配准。

单目内窥镜方法处理单个腹腔镜图像，其中手动标记的轮廓表征视觉信息 。具体讲，文献11 和 17 依赖于轮廓，即镰状韧带、下脊线以及轮廓；而文献1完全依赖于轮廓。 文献11还使用了一个阴影信息的方法，而 文献17利用环境先验建模气腹和重力的影响。 由于涉及内脏的未知边界条件，在体内利用这些环境先验仍然很困难。 这些方法对标准腹腔镜检查兼容是理想的。 它们的主要限制之一是闭塞部分仍然很难配准，这对配准的肿瘤和血管的位置有着直接的影响。

非单目内窥镜方法（文献11-21） 使用双目内窥镜重建术中肝脏形状的可见表面。在文献10中，肝脏的 3D 轮廓边界会在可见表面上自动分割并用于约束配准。 文献18的方法 在术前和术中表面网格上提取 3D 特征，并使用特征描述符和位置找到对应关系；然后通过刚性配准对齐这两个形状。文献21中重建术中肝脏形状的表面斑块。双目内窥镜使用光学定位系统进行跟踪。这允许在世界坐标中定位肝脏位置并使用它们进行配准。 文献8中使用跟踪笔在肝脏表面上标记。因为标记点的位置是已知的，所以可以直接进行配准。 文献16使用术中 CT 扫描进行配准。最后，文献7通过在 CT 体积内对腹腔镜远端本身成像并将其与阴影相结合，将术中 CT 扫描配准到腹腔镜图像上。这些方法都依赖于非标准腹腔镜检查或特殊硬件来解决配准问题。尽管如此，除了文献16，目前都没能解决配准肝脏隐藏部分的问题，极大限制了在 AR 中的使用。

2.2 交互式形状编辑

形状编辑是指通过一组控制点改变模型的表面，这些手柄可以是模型的一部分，也可以连接到模型。现有方法可分为四个主要类别，具体取决于此类手柄的分布方式：基于点（文献5）、基于曲线（文献4）、基于表面（文献9） 和基于笼子（文献20）的变形。

• 在基于点的方法中，用户提供一组点位移，每个位移都包括一个点及其预期的运动和影响区域。点的分布方式不取决于模型的形状，而更多地取决于用户的偏好。当这些点被移动时，器脏会被扭曲以匹配位移形变。【文献5】
• 在基于曲线的方法中，形变由一条或多条曲线控制，控制点分布形成一条线。变形器脏被扭曲以从源曲线映射到目标曲线。【文献4】
• 基于表面的方法包括器脏变形，在平移一组控制点来修改表面时。控制点直接位于模型的表面上。其主要困难之一是找到一种将器脏上的样本点附加到形变patch上的方法。【文献9】
• 基于笼子的方法包住器脏。这个笼子可以有一个固定的形状，例如一个长方体（文献20）或者可以适应形变物体的形状（文献19）。 这个笼子的形状可以通过重新定位控制点来改变。然后将产生的笼子形变转移到器脏上。

3. 方法

3.1 混合方法配准

我们首先描述我们方法的原理和流程。 然后，描述了生物力学模型和视觉信息约束的实现过程。 最终展示了这些如何与基于笼子的用户交互集成。

3.1.1 原理流程

我们的混合配准方法将术前 3D 模型和单个腹腔镜图像作为输入。 其原理是将生物力学模型与手动自动配准方法相结合。利用从图像中提取的用户交互和视觉信息来解决配准问题。因此，我们的方法依赖于三个约束条件，前两个是参考文献11。这些是基于 Neo-Hookean弹性模型、使用镰状韧带、作为曲线对应下脊线以及轮廓的生物力学模型。 第三个约束条件是基于笼子的约束，对用户交互进行建模。具体而言，术前3D模型由四面体网格（tetrahedral mesh）表征，基于位置的动力学原理（position-based dynamics）进行优化。

我们方法的流程如图 4 所示，7 个主要步骤，前两个步骤参考文献11。

• 第(1)步：用户在腹腔镜图像上标记镰状韧带、下脊线和轮廓。
• 第(2)步：用户在术前3D模型上标记对应的轮廓。
• 第(3)步：系统生成包围术前 3D 模型的笼子，用于在步骤 (6) 中进行用户交互。
• 第(4)步：将笼子的控制点和术前 3D 模型共四面体，获得单个整体四面体模型。
• 第(5)步：根据文献11的自动方法，仅使用视觉提信息计算初始配准。该初始配准是交互式配准所必需的。
• 第(6)步：用户通过移动笼子的控制点以交互方式调整配准。配准会实时更新，为用户提供实时反馈。在这一步重要的是，笼子的控制点和视觉信息都用于更新配准。
• 第(7)步：最后，一旦用户对配准结果满意，使用从术前 3D 模型转移的隐藏解剖元素来增强腹腔镜图像。

######################无法加载图，系统监测违规##############
图4，本文3D到2D形变肝脏配准混合方法的流程图。肝脏表面网格重叠灰色区域，黄色肿瘤，蓝色静脉。黄色线标记肝脏边缘轮廓、蓝色线标记镰状韧带、红色线标记下脊线。笼子是蓝色线框，线框红色顶点是其关联的控制点。

3.1.2 生物力学模型和视觉信息

生物力学模型是通过使用各向同性 Neo-Hookean 弹性模型增强术前 3D 模型而创建的（文献6）。这种非线性超弹性模型在以下三个条件下非常适用于腹腔镜中的配准，其中涉及中等形变；1）肝脏从镰状韧带和圆韧带中被释放后（出于可及性目的，总是在手术开始时进行）；2）在没有来自工具的强大的外力时；3）任何切除之前。相关的设备参数设置为肝脏测量的通用值，即Young’s modulus E = 60000 Pa 和Poisson比率v = 0.49（文献17）。轮廓约束依赖于解剖标志，即下脊线、镰状韧带和边缘轮廓来约束形变。

• 下脊线轮廓位于肝脏底部，几乎总是可见，并且具有非常独特的轮廓。
• 镰状韧带将肝脏连接到腹壁，它位于左右叶之间的分离区；其手术初期切开，让肝脏可以自由翻动；然后在肝脏外表面上清楚地看到它的位置。这两组轮廓片段是静止的。它们与术前 3D 模型中顶点的对应关系在整个配准过程中保持不变。
• 最后一组是肝脏边缘轮廓，使肝脏模型不会形变超出这些边界。

与脊和镰状韧带轮廓不同，边缘轮廓不是静止的，并且必须在配准过程中更新相关的约束。因为边缘轮廓对应于肝脏的上凸膈面（这是一个非常平滑的区域），随着手动优化的操作，轮廓曲线在表面上滑动调整。相比之下，由于下脊线的轮廓明显及狭窄的镰状韧带标记，本文用3D术前模型中的同一组顶点作为2D相关部分的对应关系，从而防止模型在优化期间在表面上自由“滑动”。所有这些轮廓约束都被在ICP技术优化算法中使用。我们没有明确地将诸如隔膜压力、气腹或肝脏预拉伸等物理因素作为配准过程的边界约束，因为这些在术前和术中都是不可测量的。相反，这些影响是由外科医生通过周围的笼子与术前 3D 模型的相互作用进行处理。

3.1.3 笼子用户交互

一个直观且易于使用的界面允许用户以其属性和视觉约束的方式调整肝脏的形状。 这个是通过笼子来实现的。这在调整的灵活性（即以适当的空间频率进行编辑的可能性）和用户友好性之间具有良好的折衷考虑。 笼子由一个由非常有限数量的控制点组成的网格。 这些是在文献19中定义的笼子初始化流程获得，为了笼子包围输入的术前3D模型。 笼子生成后，通过在所有顶点（即笼子、肝脏及其内部结构顶点）上应用的 Delaunay 四面体将其连接到术前3D模型。 在配准过程中，它们都使用相同的材料模型进行优化。 生成笼子的示例如图3所示。

在优化过程中笼子可移动并非易事。本文建议将笼子的所有控制点一劳永逸地嵌入从术前3D肝脏模型构建的四面体拓扑的体积模型中。另一种可能的解决方案是在每次迭代时根据模型形变创建一个笼子，但这会严重损害软件的可用性。当一个笼子的控制点在优化过程中移动时，所有与它相邻的肝脏模型的顶点都会相应地移动。这允许用户在模型区域上同时处理一组顶点。这些形变同时通过“生物力学模型和视觉信息约束”章节部分中描述的约束得到补偿。在优化期间，基于轮廓优化的单次迭代监测每一次笼子顶点位置的变化，以增加对形变的响应。

3.2 触觉图形用户界面

本文提到的GUI如图5所示，由四部分组成。

• 第一部分：可视化区域
  显示腹腔镜图像和术前三维模型。用户可以通过触觉手势或者键盘鼠标来定位术前三维模型和标记轮廓。
• 第二部分：左侧工具栏
  导入或者导出腹腔镜图像和术前三维模型。
• 第三部分：右侧工具栏
  修改术前三维模型外观、标记视觉信息、启动配准。
• 第四部分：下侧工具栏
  控制可视化区域大小，让用户激活笼子调整模式，并且实现其他复杂功能。

1）下图这个按钮设置从先前校准流程中获得的腹腔镜参数开启配准。
2）下图这个按钮加载腹腔镜图像。

3）下图这个按钮加载术前 3D 模型。

右侧工具栏中的控件标记腹腔镜图像和术前 3D 模型中的视觉信息。自动完成刚性配准，使术前模型与腹腔镜图像中的肝脏大致吻合。
4）单击下图这个按钮生成嵌套笼子。

5）用户通过点击下图按钮进行轮廓配准。然后可以平移和旋转术前 3D 模型，使其与图像大致吻合。

6）然后单击下图这个按钮启动基于轮廓的自动形变配准。

7）完成后，用户可以通过单击下图这个按钮继续使用笼子调整配准。在系统结合视觉信息和笼子进行实时配准显示的同时，笼子的顶点可以被拖动调整。

我们的 AR 软件安装运行 在Linux系统的PC上。 在手术室，这台计算机通过视频采集卡连接到内窥镜设备，采集腹腔镜视频图像。 计算机位于靠近其他屏幕的位置，便于外科医生直接查看增强部分（参见图 6）。 全套系统配备了一个触摸屏，外科医生可以直接使用。

4. 结果

本节分为三个部分。 在第一部分中，评估肝脏体模配准的准确性。 在第二部分中，使用法国克莱蒙费朗大学附属医院肝胆胰外科的体内肝脏数据，对控制视图中的配准差异性和重投影误差进行评估。 在第三部分中，使用注射到离体绵羊肝脏中的内部人工肿瘤，对配准精度进行评估。我们以两种方式将我们的混合方法HB与之前的两种方法手动刚性配准方法MR(文献15) 和 自动生物力学模型配准方法AB(文献11) 作定量比较。

对于结直肠癌肝转移 (CRLM) 和肝细胞癌 (HCC) 等病理，如果可能，应考虑 1 cm 的边缘切除(文献13,22)。 因此，我们认为一厘米或更小的肿瘤附近的配准误差是成功的。

4.1 在肝体膜上的评估精确度

使用硅制成的 3D 打印肝脏模型（图7a）评估本文提出的配准方法的精确度，目的模拟真实肝脏的生物力学特性。 肝脏模型构建如下。 从真实患者的CT数据中分割出术前3D模型；生成并3D打印3D肝脏模具；最后用硅填充模具（图7）。 我们使用的美国Smooth-On 公司的 Ecoflex 00-20型号硅胶材料，其60 kPA的杨氏模量（文献2）非常接近人类肝脏的 50-60 kPa。

本实验的原理如下。肝脏体模进行形变并且使用 Structure-from-Motion 软件 Agisoft Photoscan（文献3）重建其形状，如图 9 所示。然后我们从用于重建体模形状的视图中取出N个视图作为配准过程的输入图像。已打印体模的 CAD 模型用作输入的术前3D模型，并按照本文配准方法进行配准（图8）。

这个实验是针对M=4体膜变形进行的，如图 9 所示；每个形变N=5个不同的视图。 表1是测量的配准误差（配准的术前模型和真实模型的顶点之间的平均距离）。我们比较了所有顶点之间的距离，不仅仅是参与配准的顶点之间的距离时，考虑测量目标配准误差 (TRE)（文献14） 。本文输出了两组顶点的误差：整个肝脏以及部分可见（即对应于腹腔镜图像的前部）。

混合方法HB展示最低的配准误差。手动刚性配准MR的误差明显更高，因为MR方法没有考虑模型形变问题。自动生物力学AB配准误差整体上要低于手动刚性MR配准。误差结果表明自动生物力学模型AB配准中的视觉信息很好地约束了生物力学模型。混合方法HB 相比生物力学模型AB方法有更低的误差，因为HB方法在保留视觉信息和生物力学约束的同时，还可以优化纠正没有对齐的部分。 HB方法的标准误差最低，表明该方法实现了最稳定的结果。在某些情况下，例如在数据集1上使用自动生物力学模型AB 配准方法或数据集4上使用混合HB配准方法，结果显示整个肝脏的平均误差要低于其可见部分的误差，这一结果表明隐藏部分的配准误差较低。为了更好地说明这一点，整个肝脏顶点的误差分布如图10所示。

针对肝脏模型的不同可见度，对配准精度进行评估。通过向图像添加圆形黑色边框来模拟减小的视场 (FoV)。对100%、70%和50%的FoV情况进行配准。MR、AB 和 HB 方法使用每个数据集一张图像。结果如表2所示。一些配准结果如图 11所示。

本文还评估了AB的配准精度，其中包含不同数量的四面体构成的生物力学模型。重建三个术前 3D 模型，包括通过8000、4000 和 2000 个顶点的三角剖分获得的三种四面体。 AB 在每个数据集的一张图像上进行测试。其配准误差结果显示在表3中。

4.2 活体肝的多变性和控制视图

从不同操作配准结果的高度多变性不可靠。 控制视图中的高重投影误差揭示了差的配准结果。我们建议在真实患者数据的控制视图中测试评价配准多变性和重投影误差（图12）。

4.2.1 Variability for MR, AB and HB Registrations

5名外科医生通过7个不同的患者数据集，使用MR、AB 和 HB 方法进行配准。 在配准前，外科医生取得由手术探索阶段获得的短视频流，将腹腔镜插入不同的套管中，使得外科医生有更广泛的场景感知。表4是外科医生对 MR、AB 和 HB 配准的顶点-顶点均方根偏差 (RMSD) 的平均值的测试结果。 对于患者，RMSD 测量外科医生之间配准的差异程度。 表4不同于表1中的标准偏差，表1对应于从正确数据中计算的配准误差的偏差。

所有患者的平均变化性：MR 9.1 mm、AB 13.2 mm、HB 11.1 mm。 关键结果之一是，虽然 HB 在模型形变方面提供了比 AB 更高的灵活性，但整体配准变化性仍然较低。 MR 显示出最低的可变性，因为它的灵活性非常小。

4.2.2 Control View

从外科医生对活体肝数据的配准中，本文选择了6名患者，我们从不同的光学套管针获得了肝脏的视图。我们将 2D 重投影误差测量为从腹腔镜图像手动提取的遮挡轮廓到配准模型重投影边界的距离。它是针对参考视图和附加视图进行的。 表5和表6的结果分别评估了参考试图和附加视图的2D重投影误差（以像素为单位）。 表7结果评估了两个视图的重投影误差的平均值。



从以上不同的测试结果看，MR 的平均重投影误差远高于 AB 和 HB，而 HB 的结果值最低。MR中的刚性模型无法正确对齐以配准到腹腔镜肝脏图像上。

4.2.3 Registration Time

本文实验，配准整体时间平均为5分钟56秒。 这时间分隔为需要外科医生注意的时间（了解场景、标记标记点和运行HB配准），即4分5秒（标准偏差38秒），和不需要外科医生注意的时间（用于软件初始化系统并计算AB配准），平均为1分5秒。 需要关注的是，一旦外科医生已经了解场景并进行了首次配准，那么对同一患者的后续优化配准将花费更少的时间。

4.3 离体羊肝评估精确度

我们通过注射海藻酸盐产生三个人工肿瘤的离体羊肝来评估本文方法对内部肿瘤的精确度。对上述加工的肝脏进行两次CT扫描。 第一个CT数据被用来构建术前3D模型进行配准，然后肝脏形变。 第二个CT扫描数据用来对形变肝脏和基于运动结构的3D重建一起，进行ground truth配准（见图 13）。 针对低视觉信息和规则视觉信息两种角度，分别用MR、AB和HB方法在变形肝脏的两个腹腔镜视图上进行配准。这充分模拟了肝脏可能遇到脂肪和周围器官的阻塞情况。 然后测量三个肿瘤与其各自ground-truths之间的距离。结果统计在表8中。

从测试结果看，HB方法对三种肿瘤和两种可见度水平效果都很好。 MR方法和AB方法争次好结果，这取决于肿瘤，尽管MR方法总体上略好一些。

5. 讨论

从本文的方法得到好的配准误差非常有希望。用户可以预期肿瘤区域附近的相似或更低的误差范围，该误差低于文献中建议的腹腔镜肝切除术中肿瘤切除的 1 cm 肿瘤边缘。从我们的方法中获得的低可变性表明外科医生对场景有类似的解释，并提供了适当的工具来相应地调整模型形状。 MR方法显示的最低可变性可以通过比较AB方法和HB方法模型的有限控制来解释，即受限于模型的刚性姿势。外科医生进行配准所花费的时间仅占整个手术时间的一小部分。尽管如此，自动检测标记可以大大减少外科医生所手动交互，减少总配准时间，从而提高可用性。腹腔镜图像中的标记检测问题可以在深度神经网络的框架内解决。然而，这是一个至今仍悬而未决的难题。与器官检测和分割相反（最近令人信服的技术），标记检测需要设备检测曲线（比深度神经网络中的区域更难表示）并将它们分类为与其语义相关的类型（躺在肝脏上或肝脏外）和几何特性（例如作为轮廓的一部分）。这个问题在计算机视觉和医学图像处理研究中仍然存在。

如表2结果所示，可见肝脏的数量在配准中起着重要作用。肝脏可见度的缺乏对MR方法影响很大，而AB方法和HB方法具有更好且一致性误差，无论FoV视场有多大。这表明在如此情况下，AB方法和HB方法都能够成功地恢复计算到隐藏部分的形状。表3结果来看，一般来说，术前3D模型中随着顶点/四面体增加，配准误差相应会增加。然而，这并不总是适用于每个单独的数据集，诸如视点等因素肝脏形状在配准中的作用比术前3D模型中的四面体数量更重要。表8的离体实验初步结果表明，本文HB方法通过不同可见度的视觉信息能够准确地映射内部肿瘤的位置，即使它们远离任何视觉约束，也不管视点用没用在配准过程中。两种可见性level产生有趣结果：可见性越强，方法之间的差异性越小。具体来说，当能见度降低时，HB方法会有实质性的改善。这是一个明智的结果，因为当能见度降低时，外科医生专业知识的附加值会增加，它们之间的相互作用会互补性能，相反MR和AB可能会恶化。

配准性能仍然与腹腔镜手术固有的技术困难相关，例如视野缩小和视点范围有限，这可能会随着患者的解剖结构而显着变化。 例如，一个腹腔镜图像的配准，其肝脏完全可见且解剖标记可以准确定位（表5中的5号患者）比肝脏部分可见、标记定位不明确情况下的配准更准确（表5中的3号患者）。

本文方法适用于静态腹腔镜图像，这些图像代表弱输入，但仍然通过提取的视觉信息预测呼吸、隔膜相互作用以及气腹的影响。换句话说，视觉信息代表了这些复杂的约束条件，这些约束条件在常规手术环境中是无法预测捕捉。本文方法的优势是通过外科医生的交互来补充这些弱约束的视觉信息。这使我们的系统能够利用来自输入腹腔镜图像（通过视觉信息）的可观察标记、外科医生的专业知识、对术中场景的理解（通过他们的交互）。我们的结果证实，将视觉信息和手动交互约束的生物力学模型相结合有很好的效果。作为未来的工作，我们将会修改配准软件，让外科医生根据肝脏形状的复杂性去选择生成的笼子控制点的数量。我们还会评估更先进的生物力学模型对性能的影响。为了验证我们的方法，必须进行进一步的临床实验，特别是关于在人类病例配准后内部结构的位置。如果这些实验结果确认整体配准误差低于 1 厘米，那么本文的方法将为外科医生提供可靠的基础指导肝脏切除。

6. 文献

[1] Adagolodjo, Y., R. Trivisonne, N. Haouchine, S. Cotin, and H. Courtecuisse. Silhouette-based pose estimation for deformable organs application to surgical augmented reality. In: IROS, 2017.
[2] Adams, F., T. Qiu, A. Mark, B. Fritz, L. Kramer, D. Schlager, U. Wetterauer, A. Miernik, and P. Fischer. Soft 3D-printed phantom of the human kidney with collecting system. Ann. Biomed. Eng. 45:963–972, 2017.
[3] AgiSoft PhotoScan Professional (Version 1.2.6) (Software), 2016.
[4] Barr, A. H. Global and local deformations of solid primitives. Comput. Graph. 18(3):21–30, 1984.
[5] Bechmann, D., and D. Gerber. Arbitrary shaped deformations with dogme. Vis. Comput. 19:175–186, 2003.
[6] Bender, J., D. Koschier, P. Charrier, and D. Weber. Position-based simulation of continuous materials. Comput. Graph. 44:1–10, 2014.
[7] Bernhardt, S., S. Nicolau, A. Bartoli, V. Agnus, L. Soler, and C. Doignon. Using shading to register an intraoperative CT scan to a laparoscopic image. Computer-Assisted Robotic Endoscopy. CARE, 2015.
[8] Clements, L., J. Collins, J. Weis, A. Simpson, T. Kingham, W. Jarnagin, and M. Miga. Deformation correction for image guided liver surgery: an intraoperative fidelity assessment. Surgery 162(3):537–547, 2017.
[9] Feng, J., J. Shao, X. Jin, Q. Peng, and R. Forrest. Multiresolution free-form deformations with subdivision surfaces of arbitrary topology. Vis. Comput. 22(1):28–42, 2005.
[10] Haouchine, N., F. Roy, L. Untereiner, and S. Cotin. Using contours as boundary conditions for elastic registration during minimally invasive hepatic surgery. In: IROS, 2016.
[11] Koo, B., E. Ozgur, B. Le Roy, E. Buc, and A. Bartoli Deformable registration of a preoperative 3D liver volume to a laparoscopy image using contour and shading cues. In: MICCAI, 2017.
[12] Lamata, P., F. Lamata, V. Sojar, P. Makowski, L. Massoptier, S. Casciaro, W. Ali, T. Studeli, J. Declerck, O. Elle, and B. Edwin. Use of the Resection Map system as guidance during hepatectomy. Surg. Endosc. 24:2327–2337, 2010.
[13] Margonis, G., T. Sergentanis, I. Ntanasis-Stathopoulos, N. Andreatos, I. Tzanninis, K. Sasaki, T. Psaltopoulou, J. Wang, S. Buettner, A. Papalois, J. He, C. Wolfgang, T. Pawlik, and M. Weiss. Impact of surgical margin width on recurrence and overall survival following R0 hepatic resection of colorectal metastases: a systematic review and meta-analysis. Ann. Surg. 267(6):1047–1055, 2018.
[14] Moghari, M., B. Ma, and P. Abolmaesumi. A theoretical comparison of different target registration error estimators. In: MICCAI, 2008.
[15] Nicolau, S., L. Soler, D. Mutter, and J. Marescaux. Augmented reality in laparoscopic surgical oncology. Surg. Oncol. 20(3):189–201, 2011.
[16] Oktay, O., L. Zhang, T. Mansi, P. Mountney, P. Mewes, S. Nicolau, L. Soler, and C. Chefd’hotel. Biomechanically driven registration of pre- to intra-operative 3d images for laparoscopic surgery. In: MICCAI, 2013.
[17] Ozgur, E., B. Koo, B. Le Roy, E. Buc, and A. Bartoli. Preoperative liver registration for augmented monocular laparoscopy using backward-forward biomechanical simulation. Int. J. Comput. Assist. Radiol. Surg. 13:1629–1640, 2018.
[18] Robu, M. R., J. Ramalhinho, S. Thompson, K. Gurusamy, B. Davidson, D. Hawkes, D. Stoyanov, and M. Clarkson. Global rigid registration of CT to video in laparoscopic liver surgery. Int. J. Comput. Assist. Radiol. Surg. 13:947–956, 2018.
[19] Sacht, L., E. Vouga, and A. Jacobson. Nested cages. ACM Trans. Graph. 34(6) Article No. 170, 2015.
[20] Sederberg, T. W., and S. R. Parry. Free-form deformation of solid geometric models. Comput. Graph. 20(4):151–160, 1986.
[21] Thompson, S., J. Totz, Y. Song, S. Johnsen, D. Stoyanov, S. Ourselin, K. Gurusamy, C. Schneider, B. Davidson, D. Hawkes, and M. Clarkson. Accuracy validation of an image guided laparoscopy system for liver resection. Proc. SPIE 9415(09):1–12, 2015.
[22] Zhong, F. P., Y. J. Zhang, Y. Liu, and S. B. Zou. Prognostic impact of surgical margin in patients with hepatocellular carcinoma: a meta-analysis. Medicine 96(37):e8043, 2017.