文献拜读小记：6.基于电磁导航与增强现实的复杂先心病 畸形病灶定位技术研究

尽管电磁手术导航的实现可以为医生提供精确的解剖信息与导航信息

• 但这些信息都是基于术前的影像进行构建。

而手术中，相应的解剖结构与术前影像相比，会产生非常大的形变和位移。若此时依旧使用导航系统进行手术引导

• 则会造成较大的偏差，严重时会给患者带了额外的伤害。

同时，显示于屏幕上的导航信息与手术场景是分离的，术中，医生为了获取导航信息需要不断地在屏幕与手术台之间切换视野，影响了手术的顺利进行。

• 所以单纯的导航系统只能实现畸形病灶的初步定位

内窥镜

是2D显示的且视野较小，对于临床经验欠缺的医生而言，将内窥镜伸入胸腔内部后，就很容易迷失其中，难以辨认正确的组织，即便发现了病变组织，也不能准确判别内窥镜与病灶间的相对位置关系。

• 但由于内窥镜影像反映的是患者在手术过程中真实的组织结构，基于医生的观察即可实现畸形病灶的精确定位。

基于单目内窥镜的增强现实畸形病灶定位方法

目的是实现图像空间中的虚拟模型与内窥镜中的实时画面相叠加，从而统一导航信息与手术场景。通过该方法，医生仅需要观察屏幕上的影像，即可兼顾图像空间和手术场景下的实时手术进程。
由于内窥镜中画面显示的是患者实际的解剖结构，而导航信息基于术前患者的解剖结构，所以将两者结合后，依据增强现实的结果可以引导医生实时调整内窥镜的位姿，正确寻找病灶的位置，最终实现先心病中畸形病灶的精准定位。

增强现实(Augmented Reality, AR)

实质是将图像空间下的虚拟模型与手术空间下的解剖结构进行融合显示，为此就需要将虚拟的导航信息变换至手术场景下，并与患者的解剖结构进行虚实融合，从而针对真实的手术场景起到增强效果.

增强现实系统的构建具有较高的技术要求，需要处理大量数据感知空间位置信息和虚拟影像信息，进而将虚拟模型精准叠加至真实场景中。AR系统的构建主要包括如下步骤：

• （1）构建虚拟空间与真实场景的坐标系；
• （2）通过配准算法求解虚拟空间与真实场景的坐标变换关系；
• （3）针对摄像机进行标定，并结合目标定位技术获知摄像机与真实场景的相对位置信息；
• （4）基于摄像机的位置信息调整虚拟空间中的观察视角，最终将虚拟模型与拍摄画面完成虚实融合，并在屏幕上进行显示。

电磁手术导航系统中已经实现了步骤（1-2），即完成了图像空间的构建和两个空间的注册。

为了将AR技术应用于系统中，本文对传感器与内窥镜进行固定，如图5-2所示，并设计了一套增强现实手术导航系统的构建方法，用于实现内窥镜与传感器的标定，以及虚实融合等功能。

内窥镜的标定与虚实融合

实现增强现实的前提是要获知摄像机的位置信息，而在本系统中，内窥镜即为摄像机，其功能是作为AR功能的追踪工具和拍摄设备。
由于单纯的内窥镜是无法感知自身位置的，需要借助于电磁传感器实时得到当前的位置和朝向。

为了保证内窥镜空间信息的准确性，本文将其与传感器相固定，确保两者相对位置不变，提出了一种基于棋盘格标定板的内窥镜标定方法，该方法利用棋盘格标定板，建立棋盘格坐标系，并将内窥镜坐标系与传感器坐标系统一变换至棋盘格坐标系下，从而求传感器到内窥镜的坐标变换关系。

我们将这个标定方法拆分成两个过程：

• 标定传感器到棋盘格的变换关系
• 以及标定棋盘格到内窥镜的变换关系
  

1.现在能够知道，手术针、内窥镜在虚拟图像空间的位置
2.然后在内窥镜的位置处，安放虚拟的视角（模拟内窥镜的真实属性），得到该视角下的虚拟图像
3.将该虚拟图像与内窥镜实际影像重合

具体数学推算，以后值得深究