拜读Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy

0. 摘要

1. 介绍

下图1，增强的腹腔镜图像示例：肿瘤边界（红色）及其肿瘤边缘（绿色）投影到肝脏表面。可见下表面肿瘤（黄色）和主要血管（蓝色）。蓝色标记是规划的切除路径。 从肝脏表面到肿瘤的每一厘米处遍布红点。肿瘤边缘1cm范围进行切除，用于治疗结直肠癌肝转移 (CRLM) 和肝细胞癌 (HCC)。

下图2，术前 3D 肝脏模型与腹腔镜图像的配准。 从 CT 中提取术前 3D 模型，相机代表腹腔镜。 术前 3D 模型包括外表面为灰色的肝脏及其部分内部解剖结构，即黄色为表面下的肿瘤，蓝色为静脉。

下图3，

2. 相关工作

单眼腹腔镜方法处理单个腹腔镜图像，其中手动标记的轮廓约束代表视觉线索 。更具体地说，参考文献。 图 11 和 17 依赖于轮廓，即镰状韧带和下脊，以及轮廓，而参考文献。 1 完全依赖于轮廓。 Method11 还使用了一个阴影提示，而 Ref. 17 利用环境先验建模气腹和重力的影响。 由于涉及内脏的未知边界条件，在体内利用这些环境先验仍然很困难。 这些方法与标准腹腔镜检查兼容是非常理想的。 它们的主要限制之一是闭塞部分仍然很难注册，这对注册的肿瘤和血管的位置有直接影响。
非单眼腹腔镜方法11-21 使用立体腹腔镜重建术中肝脏形状的可见表面。在参考文献中。如图 10 所示，肝脏的 3D 轮廓边界会在可见表面上自动检测并用于约束配准。 Method18 在术前和术中表面网格上提取 3D 特征，并使用特征描述符和位置稳健地找到对应关系。然后通过刚性配准对齐这两个形状。 Method21 重建术中肝脏形状的表面斑块。立体腹腔镜使用光学跟踪系统进行跟踪。这允许人们在世界坐标中定位补丁并使用它们来约束注册。 Method8 使用跟踪笔让用户在肝脏表面输入地标。因为地标的位姿是已知的，所以它们直接用作配准约束。 Method16 使用术中 CT 扫描来限制配准。最后，方法 7 通过在 CT 体积内对腹腔镜远端本身成像并将其与阴影相结合，将术中 CT 扫描配准到腹腔镜。这些方法都依赖于非标准腹腔镜检查或特殊硬件来解决配准问题。尽管如此，除了参考文献。 16，它们没有解决注册肝脏隐藏部分的问题，强烈限制了它们在 AR 中的使用。
形状编辑是指通过一组手柄来改变模型的表面，这些手柄可以是模型的一部分，也可以连接到模型。现有方法可分为四个主要类别，具体取决于此类手柄的分布方式：基于点、5 基于曲线、4 基于曲面 9 和基于笼子的变形。20 在基于点的方法中，用户提供一组点位移，每个位移都包括一个点及其预期的运动和影响区域。点的分布方式不取决于模型的形状，而更多地取决于用户的偏好。当这些点被移动时，对象会被扭曲以匹配位移约束。5 在基于曲线的方法中，变形由一条或多条曲线控制。控制点分布以形成用户曲线的线。变形对象被扭曲以从源曲线映射到目标曲线。4 基于表面的方法包括在通过平移一组控制点来修改表面补丁时使对象变形。控制点直接位于模型的表面上。主要困难之一是找到一种将对象上的样本点附加到变形补丁的方法。9 基于笼子的方法使用包围对象的笼子。这个笼子可以有一个固定的形状，例如一个长方体，20 或者可以适应要变形的物体的形状。19 这个笼子的形状可以通过重新定位控制点来改变。然后将产生的笼形变形转移到物体上。

二级目录

三级目录