2021-7-23-Multimodal Medical Image Fusion Techniques – A Review

论文链接：https://www.researchgate.net/publication/339524811_Multimodal_Medical_Image_Fusion_Techniques_-_A_Review

多模态医学图像融合的主要目的

将多个来源的图像融合为一个单一的图像，每个来源的图像的都包含重要的特征，互补数据的融合提高了多模态医学图像的准确性，降低了整体的不确定性。

医学图像融合算法包括两个过程

1. 图像配准spatial alignment和（b）从配准图像中融合重要特征。

 融合方案应满足以下要求

1. 它应该识别源图像中最重要的特征，并在不损失细节的情况下将其传输到融合图像中。
2. 图像融合过程不应引入任何伪影或不一致，从而误导观察者进行进一步处理任务。
3. 它应该是健壮的、可靠的，并且抑制图像和噪声中不相关的部分。

多模态医学图像提供不同类型的信息：

计算机断层扫描（CT）图像提供骨骼等致密结构的细节

磁共振图像（MRI）提供病理性软组织的信息

磁共振血管造影（MRA）很容易发现脑内的异常

X射线检测骨折和骨位置异常

振动声成像（VA）提供疾病物体的深度和厚度

正电子发射断层扫描（PET）和单光子发射计算机断层扫描（SPECT）都提供功能和代谢信息，例如大脑

图像融合技术分为五大类[4]：基于所用域的类型、基于输入图像的获取、基于处理级别、基于活动级别和基于图像的信息内容。具体描述如下：

2.1域类型

可以在空间域（图像中的像素）、变换域（数据中频率的变化）或组合中处理图像

2.1.1空间域：

这些方法专门处理图像像素。这些类型的算法称为空间域融合算法。以下是属于空间域的基于融合的技术，例如平均、主成分分析（PCA）、Brovey方法和Intensity Hue Saturation 强度-色调-饱和度（IHS）。空间域方法的缺点是在融合图像中产生空间失真。

2.1.2变换域

在变换域方法中，首先通过求图像的傅里叶变换将图像转换到频域。傅里叶变换在空间频率和空间位置上都有定义，而空间域仅在空间频率域上定义。在变换域技术中，傅里叶变换被应用于所有的输入图像。然后，进行傅立叶逆变换得到最终的融合图像。最流行的变换有离散傅里叶变换（DFT）、离散余弦变换（DCT）、离散阿达玛变换（DHT）、离散小波变换（DWT）、冗余小波变换（RWT）、轮廓波变换、曲波变换和奇异值分解（SVD）。

2.1.3混合域

在混合域图像融合算法中，可以采用空间域和变换域的融合，也可以采用两个变换域的融合。

2.2. 获取的输入图像

图像的采集和融合采用多传感器、多时相、多聚焦、多模态、多视角等多种方式。

2.2.1多传感器图像融合：这种融合了各种传感器采集的源图像。

2.2.2多时相图像融合：这种融合将在不同条件下拍摄的图像与特定的最终目标结合起来，以融合在预期时间内未拍摄到的物品的准确图像。

2.2.3多聚焦图像融合：这种图像融合与不同中心长度的图像场景进行重复收缩，融合源图像的补充信息。

2.2.4多模图像融合：这种融合了源图像的互补信息。

2.2.5多视角图像融合：融合了一次从不同角度拍摄的类似方法的图像。

2.3处理水平

图像融合在不同的处理层次，如像素，特征和决策。下面给出了每个处理级别的详细信息。

2.3.1像素级融合：像素级方法融合两幅图像，通过变换其中一幅图像，使其与另一幅图像最为相似，并考虑到某种客观的相似性度量。

2.3.2特征级融合：特征级融合最初是针对不同的图像模式提取感兴趣的对象，例如利用分割策略。

2.3.3决策级融合：决策级融合的信息提取使用解释/标记数据，其中输入图像独立处理。这种方法的主要优点是更高层次的表示使得多模态融合更加健壮和可靠。

2.4. 基于人类价值系统（HVS）算子模型的算法