《Augmented reality in laparoscopic surgical oncology》（2011）

摘要：本文对不同文章中，关于增强现实在腹腔镜微创手术中的应用提出的不同方法进行了全面的回顾。首先提出了增强现实在手术中应用的背景。然后，将腹腔镜微创手术中增强现实的应用的各种方法及关键任务分类，以更好地掌握手术现场。最后总结从回顾的方法中得到的各种问题，以突出增强现实在腹腔镜手术存在的挑战。

 

 

概述：传统地将微小照相机置于腹腔进行微创手术存在诸多弊端。第一失去了直接的触感，第二失去了深度的感知，第三视野范围较小的照相机不能同时控制所有的器官和仪器运动。将增强现实技术应用于微创手术，这意味着病人对于医生是透明的，可以定位重要的结构如肿瘤，血管，在还没有接触到的情况下。

 

术前数据三维可视化：一、3D可视化使用直接体积渲染。这种渲染是由3D医学CT图像的原始数据自动计算的。该方法包括通过将所选图像的初始密度以颜色和通过传递函数定义的透明度来实现所选图像的所有像素。这种3D可视化的主要优点是缺乏预处理，无需为诊断和手术计划获得有用的结果。在常规临床中，体积渲染因此对于所有的畸形对比，其中如血管或骨骼，尤其合适对于所有的可见病理学，通过增强对比，例如血管疾病，对比肿瘤或创伤。它也存在一些局限。第一，没有手动交互，用户无法独立观察到他们想要看的器官，如果在DICOM数据中具有相同的灰度级。第二，因为独立结构没有被界定，所以不可能计算任何器官体积。最后，大多数提供体积渲染的软件，并不一定适用于手术。

二、分割预处理的表面渲染。这种方法首先需要分割除感兴趣的结构，其次是网格生成处理，提供了描述结构的表面。这个预处理过程是这种方法的主要难点。一旦所有重要的器官和病理都被分割了，就有可能在三维中形象化它们，改变它们的表面透明度并计算它们的体积。最初的信息被简化为重要的结构，使得它的渲染速度更快。但缺陷是普通软件仅提供手动分割，对于医生来说是漫长而艰巨的任务，虽然后来提供了自动分割，但为保证质量仍然需要医生手动检查。

 

用于AR的显示技术：本节回顾现有的显示器，显示器可以向外科医生提供术前数据，显示器设备有三个类别：基于视频的显示器，透视显示器，基于投影的显示器。

一、基于视频的显示器。在手术室中使用摄像机来提供手术AR，以此将病人的术前信息叠加到视频流中。

四、追踪系统。光追踪和电磁追踪是使用得最多的。红外追踪系统的缺点也很明显。首先，他们无法处理许多反射器集的鲁棒跟踪(多个反射器集合在同一个跟踪区域内会产生可能的检测错误)，其次，反射器与红外摄像机之间的自由视线始终是强制的，在手术环境中是很难实现的。解决的方法是加上校正摄像机或是能够重建表面的透视设备，但光追踪还是容易发生遮挡。电磁追踪能够克服遮挡，但是距离加大会削弱电磁效应。不论是什么样的追踪系统，内外参数的标定都是必要的。

 

配准方法：配准是所有步骤中最难也是最重要的一步，就是将之前标定和追踪得到的信息叠加到正确的位置上。匹配过程包括在AR显示框架中确定术前信息的位置。高准确率的自动配准在实际应用过程中是很困难的，因为内部的软组织器官存在变形。

一、交互配准（IAR）。第一种配准方法是同时在患者和术前3D模型的相同图像上进行可视化，并手动修改其位置、比例和方向，以便在三维模型和真实患者视图中都能看到的标识物被正确地叠加。第二种交互方法也基于可以在手术前3D模型和真实患者身上识别的标识。用户首先在手术前图像中确定这些标识的3D位置。其次，他们需要使用跟踪的指针在对象上指出患者可见的相应标识。

二、AR自动配准。要实现自动配准有两点必须考虑到，生理器官(或病人)的实时运动和手术器械在器官上的相互作用。第一个是在手术内获得一个包含感兴趣结构的患者区域的三维图像，并呈现该图像以允许AR可视化，如超声图像。第二种方法是使用可以在手术室中使用的AR设备，将术前信息配准到术中图像上。使用非刚性配准的效果比刚性的更好。

 

结果：一、IAR。基于投影设备的IAR，主要好处是减少手术时间和X光曝光。但无法指导深层结构的手术。基于摄像机的IAR，由于相机为所有看到屏幕的用户提供了相同的视野，所以没有深层结构的可视化错误。二、AR自动配准。通过患者外部视角提供患者透明度，并且在通过提供关于隐藏结构定位的附加信息之后插入仪器。

 

结论：在外科手术中提供增强现实仍然是一个具有挑战性的问题，因为自然的人类的器官运动与外科医生的相互作用，需要最好的技术知识。IAR已经为一些特殊的应用带来便利，但为了提供更多用户依赖的系统，已经做了很多努力来通过自动可变形配准3D模型来代替交互式配准的刚性3D模型。器官特征点的数量和视野的大小对AR的精度有影响，手术视野来源有CT扫描或立体腹腔镜等等。