【医学影像】超声（UltraSound）影像与 CT/MRI 多模态融合配准

因工作需求，最近调研了 UltraSound 影像与 CT/MRI 多模态融合配准相关文献（公开的图书，论文等），并进行了整理记录，欢迎各位进行交流学习。【人肉整理，转载请注明出处】

本人另一博文调研了超声（UltraSound）影像的增强与目标检测，欢迎大家讨论交流。

1 综述

根据成像原理不同，人体内器官和组织的影像显示方式不同并具有各自特征，可以互补不足。超声成像实时性高、成本低、无辐射，临床上常用超声引导穿刺或肿瘤切除。但是，超声图像质量不高，很难正确的显示病变和定位病灶。MR有多种成像模式，图像质量高，利于准确的定位肿瘤，但MR引导手术成本高、实时性差。针对目前超声引导和MR引导手术存在的问题，研究人员提出了一种术前 MR/CT 图像和术中或术后超声图像融合引导手术的新方法，该方法不仅能够保证超声引导的实时性，而且因术前 MR/CT 图像的引入保证了引导准确性。

术前MR/CT图像和术中实时超声图像融合引导手术需要解决的首要问题是多模态非刚性图像配准问题。

目前在 UltraSound 与 CT/MRI 影像融合配准方面的商用软件有 Urostation (Koelis) 和 Artemis (Eigen)，均支持弹性配准。

2 基于距离场和生物力学表面约束的两种方法进行前列腺超声与MR影像配准

论文提供了两种弹性配准方法，具有统一的预处理部分，对MRI图像进行前列腺分割，通过平滑获取光滑的表面；获取前列腺经直肠3D超声影像，分割出前列腺部分并平滑获取光滑的表面。用于输入配准算法的是MRI影像的前列腺mask和3D超声影像的前列腺mask，并归一化到同一分辨率；

2.1 Registration of signed distance maps with B-spline regularization方法

该方法由BHW团队开发，首先对平滑前列腺 mask 进行 Maurer signed distance transformation，将其送入the standard BRAINSFit module of 3D Slicer，进行基于仿射变换和B样条插值的弹性配准。以距离均方差来评价配准精度，算法来源于3D Slicer软件。下图为BWH配准结果：

2.2 Biomechanically constrained surface registration方法

该方法由 University of British Columbia (UBC)团队开发，从平滑前列腺mask提取三角网格曲面模型，对配准的非刚性部分通过最小化有限元模型计算体积应变来约束，利用GMM来驱动模型表面，再加上生物力调节器来约束，最终实现弹性配准。

下图为UBC配准结果 (左边是全局表面信息参与配准，右边是局部表面信息参与配准)：

2.3 精度对比

分割结果：
在 Ultrasound 和 MRI 影像上，分割出前列腺的体积偏差，分割准确度对配准精度存在一定影响。

评价指标：由10年以上超声引导经验的医生对两个模型分别打上48个标记点，计算标记点距离来评估；

UBC 方法与 BWH 方法对比：

精度对比 (mm)：

2.4 参考文献

【1】Open-source image registration for MRI–TRUS fusion-guided prostate interventions[J]. International Journal of Computer Assisted Radiology & Surgery, 2015, 10(6):925-934.

3 基于几何特征点的前列腺超声与MR影像配准

论文提供了一种特征点的弹性配准方法，特征点由医生手动选取。

3.1 方法描述

将TPS-RPM算法和ICP算法结合应用于前列腺超声和MR图像配准，该方法保证了ICP对于整体线性变换和TPS-RPM算法对于局部非线性变换的优势，优化目标函数 C 最小化，得到最佳配准参数。
其中Thin Plate Splines (TPS) 是一种非刚性配准，该变化可分解为仿射和非仿射空间；
其中Robust Point Matching (RPM) 可减少手动描绘标记点出错导致的配准误差；

3.2 配准精度

评价指标：

• Target Localization Error (TLE) is considered as an efficient and powerful measure of registration accuracy；
• Mean distance (± Std.dev) is rather an intuitive way to evaluate registration；
• Dice similarity coefficient (DSC) is an overlap measure related to the Jaccard Index；
  

3.3 参考文献

【1】Makni N , Toumi I , Puech P , et al. A non rigid registration and deformation algorithm for ultrasound & MR images to guide prostate cancer therapies.[J]. Conference proceedings: Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Conference, 2010, 2010(5):3711-3714.

4 基于HAMMER算法的腹部软组织超声与MR影像配准

考虑到软组织形变的非刚性以及多模图像强度分布的不同，在软组织的形变跟踪中，该论文提出一种基于边缘特性的弹性配准方法。

4.1 方法描述

为了定量评估配准的准确性，以腹部软组织为对象，对术前的MR影像分别手动进行旋转变换，仿射变换和投影变换，得到形变的MRI图像，并在此基础上模拟得到超声图像（超声模拟步骤包含：采样+插值+乘性噪声）。利用hammer算法进行配准。

HAMMER算法是一种综合考虑图像灰度和几何结构特征的弹性配准算法。主要体现在两个方面：

(1) HAMMER 算法在每个体素点上定义一个属性向量，以反映底层解剖结构的几何特性。在形变过程中，属性向量通过外形的相似性建立了解剖结构的一致性。每个属性向量a(x)由三部分组成：①边界类型；②灰度强度；③几何不变矩(GMIs)。

(2) HAMMER 算法的层次形变机制。部分解剖结构有特定的形状特征，这些形状特征在初始化形变阶段被称为"锚点"，剩下的部分缓慢影响形变从而避免错误的目标。此外，在形变子空间时，形变机制形变图像相关的大部分不是单个体素，然后在整个子空间中估计属性向量的相似性，使得形变更加真实可信。

4.2 配准精度

评价指标：平均位移和互信息值；


其中校正后图像是经过配准后的图像；

4.3 参考文献

【1】Ang-Ang M A , Qi-Mei L , Fei Z . A New Method to Detect Soft-Tissue Deformation Based on HAMMER Algorithm[J]. China Medical Equipment, 2013.
【2】马昂昂, 廖琪梅, 赵菲, et al. 一种基于HAMMER算法的软组织形变检测新方法[J]. 中国医学装备, 2012(05):11-15.
【3】Shen D . Image Registration by Hierarchical Matching of Local Spatial Intensity Histograms[C]// Medical Image Computing & Computer-assisted Intervention-miccai, International Conference Saint-malo, France, September. DBLP, 2004.

5 基于表面点云的前列腺超声与MR影像配准

考虑到软组织形变的非刚性以及多模图像强度分布的不同，在软组织的形变跟踪中，该论文提出一种基于边缘特性的弹性配准方法。

5.1 方法描述

1. 获取多张二维超声组成前列腺的3D超声影像；
2. 使用 Hough forest classifier 算法（将 hough 随机森林的分类和目标定位结合的方法，是一种监督方法）进行3D超声前列腺的自动分割，并得到表面网格；
3. 利用基于一致性点漂移算法（Coherent Point Drift algorithm），进行可变形的超声和 MRI 对象的表面网格配准，网格表面的弹性形变利用 thin-plate splines 插值模拟；

一致性点漂移算法：对于网格表面，计算每个网格每个顶点的位移，使两个网格之间距离最小；利用这些稀疏的位移在整个图像域插值出一个变形场，让MRI图像网格变形成US图像网格；

5.2 配准精度

5.3 参考文献

【1】Zettinig O , Shah A , Hennersperger C , et al. Multimodal image-guided prostate fusion biopsy based on automatic deformable registration[J]. International Journal of Computer Assisted Radiology & Surgery, 2015, 10(12).

6 基于体外标记法的肝部2D超声与CT影像配准

以临床最常用的影像融合方式超声—CT影像融合，超声二维影像空间分辨力低，对气体、骨骼显示不清，医生难以通过超声完整了解病灶部位和手术器械相对病灶空间位置关系。而CT影像空间分辨力高，不受气体影响，对骨骼显示敏感，可以通过三维重构显示器官和病灶的三维立体信息，但CT设备因为辐射和成像原理较难实现穿刺过程中的实时扫查。超声与CT影像融合优势互补。

6.1 方法描述

1. 术前在人体上贴3个marker（内嵌钢珠）进行CT扫描，通过阈值等方法识别出钢珠，得到CT坐标系下的坐标；
2. 术中将磁场传感器（Sensor）分别放入3个Marker和超声探头上，术中人体上依然贴有Marker。在磁场发射器坐标系下，可得到超声探头和人体Marker坐标；
3. 对超声探头空间位置和探头对应切片影像位置进行校正，可使用水槽实验对超声探头进行校正；
4. 分别计算旋转平移矩阵，实现超声切片影像和3D CT影像之间的重合；

6.2 配准精度

论文中以肝癌患者为例，分别将患者术中超声影像，术前CT影像注册在磁场发生器坐标系下。在肝癌患者肝脏中选择重要组织结构或血管作为目标点并建立目标层面，当超声探头扫描至目标层面时，目标点清晰显示。论文选择肝中、右静脉分叉作为目标点进行空间坐标计算，分别记录CT影像与超声影像上的目标点坐标，通过计算机计算出两幅影像目标点空间坐标差值视为融合误差。多次进行，得到统计误差如下：

• 体表定标法的超声影像与CT影像配准融合误差（刚性模型）平均值为1.65±0.27 mm；
• 体表定标法的超声影像与CT影像配准融合误差（仿真体模）平均值为2.33±0.37 mm；
• 体表定标法的超声影像与CT影像配准融合误差（肝癌患者）平均值为2.79±0.22 mm；

对于呼吸造成的误差：

配准误差曲线是根据计算术前3D CT影像呼吸深度与术中超声影像转换的呼吸深度之间的差值完成的，随着术中肝脏位置实时变化配准误差也在不断改变，由此生成的曲线即为配准误差曲线，当配准误差曲线位于最低点时候可以提示医生对靶区病灶进行穿刺。

6.3 参考文献

【1】《多模态影像融合介入机器人系统穿刺精准性实验研究》博士论文2018.

7 结论

对于 US 与 CT/MRI 的融合配准，目前主流方法是先分别从 3D US、CT/MRI 中分割出软组织目标对象，分别提取出对应的 Fixed 特征点和 Moving 标记点（表面点云、手动标记点等），对 Fixed 标记点进行不同弹性变换函数（B样条插值的仿射变换、生物力学模型约束、有限元仿真模拟等），以 Fixed 特征点和 Moving 标记点距离为目标函数，最终演变成求弹性变换函数参数的最优化问题。