解读Influence of sampling accuracy on augmented reality for laparoscopic image-guided surgery

1. Material and methods

1.1 Background methodology

在LLRS中，外科医生通常通过腹腔镜摄像机的视频，在医学图像的帮助下，以及在可用的情况下，通过分割的3D重建表面模型，对器官进行可视化手术。所有这些信息都可以显示在手术室的单独屏幕上（如图1所示），也可以与腹腔镜透视图组合到AR中（如图2所示）。如上所述，本研究专注于AR。以下章节描述了本研究中用于实现AR的主要算法：手眼相机校准、基于点的配准（PBR）和AR重投影。

1.2 Hand-eye camera calibration

“手眼”标定技术是在机器人领域提出来的[11]。如图3所示，在用于LLRS的IGS中，手眼相机校准是计算立体腹腔镜相机（可称之为“眼睛”）（比如日本东京的奥林巴斯品牌设备ENDOEYE flex3D）和固定在相机上的刚体球（可称之为“手”）之间的转换关系矩阵。本研究采用加拿大NDI厂家的光学跟踪系统Polaris Spectra实现定位跟踪。用rom文件是8700449的刚体球附着在腹腔镜相机上。然后以60Hz的刷新率跟踪腹腔镜摄像机的位置。为了实现相机标定和手眼标定，设计一个96点图案的标定板，上面附着四个刚体球。本文研究中，立体腹腔镜的左眼被校准，并用来增强现实评估。标定板是白色的，带有激光答应的黑色圆圈；通过OpenCV算法检测椭球质心和相机标定。为了计算手眼校准，可以使用方程（1）来计算单姿态的手眼校准变换（即T_C^M，根据图3）
$$T_C^M=T_C^M\ast T_S^O\ast T_{SC}^S\ast T_C^{SC}$$
其中：

• O是光学定位设备的坐标系；
• M是附着在腹腔镜相机上的刚体球坐标系；
• S是附着在标定板上刚体球的坐标系；
• SC是标定板的坐标系；
• C是腹腔镜相机坐标系。

本文使用的符号上标表示变换所针对的坐标系，下标表示变换所指向的坐标系。此外，在齐次坐标系下，本文描述的所有变换矩阵都是4×4形式。$T_O^M$和$T_O^S$通过光学定位设备获得；$T_{SC}^C$【备注：论文中实际上写的是$T_{SC}^S$，它是错的】通过张正友提出的标定板姿态估计获得；设计特定的标定板使得S和SC的轴线以及原点重合；因此本文中，$T_{SC}^S$是4×4单位矩阵。

为了提高手眼标定的精度和可靠度，作者通过多姿态手眼标定（参见文章《Effective calibration of an endoscope to an optical tracking system for medical augmented reality》），取代了单姿态的方程（1）。