Zero-Learning Fast Medical Image Fusion零学习快速医疗图像融合

Zero-Learning Fast Medical Image Fusion

零学习快速医疗图像融合

作者：Fayez Lahoud、Sabine Susstrunk

期刊：第22届信息融合国际会议（2019）

摘要

       临床应用，如图像引导手术和无创诊断，严重依赖于多模态图像。医学图像融合通过将来自多个来源的信息整合到一个单一的、更易于理解的输出中发挥着核心作用。本文提出了一种实时图像融合方法，使用预先训练的神经网络来生成包含来自多模态来源的特征的单个图像。使用基于从卷积神经网络中提取的深度特征图的新策略合并图像。比较这些特征图以生成驱动多模态图像融合过程的融合权重。本文的方法不限于融合两个图像，它可以应用于任意数量的输入源。本文验证了我们提出的方法在多个医学融合类别上的有效性。实验结果表明，本文的技术在视觉质量、客观评估和运行时效率方面都达到了最先进的性能。

前言

       深度网络已被用于多种融合问题，但它们仍然存在重大缺陷。例如：深度网络通常基于他们训练的数据集进行泛化；多焦点图像融合训练的网络仅适用于其任务等。此外，这些方法需要大量专门的数据集进行训练。最后，神经网络，尤其是卷积神经网络 (CNN)，需要大量内存，并且在时间和能源上的计算成本都很高。

创新点

       本文的主要贡献是将预训练的神经网络集成到图像融合任务中的新技术。该方法显示出比当前最先进的技术更好的性能，并且无需任何专用硬件即可实时运行。

融合方法

       脉冲耦合神经网络（PCNN）是另一组也无需事先训练即可运行的模型。它们的灵感来自猫的视觉皮层。与深度学习架构不同，这些模型只是二维的，每个神经元对应于图像中的一个像素。它们不会形成自然图像的统计模型。与它们不同的是，CNN通常在大型图像数据集上进行训练，允许它们对图像的显着特征进行建模和检测。本文利用这些深度特征的能力( VGG-16 网络)来表示图像中的显着区域，获得比基于 PCNN 的融合规则更好的效果。

       向网络馈送源图像，预训练CNN用于生成特征的活动级别，提取其具有代表性的特征图，然后将其进行比较以生成融合权重图。然后对权重图进行细化并用于构建融合图像。

       脉冲耦合神经网络（PCNN）是另一组也无需事先训练即可运行的模型。它们的灵感来自猫的视觉皮层。与深度学习架构不同，这些模型只是二维的，每个神经元对应于图像中的一个像素。它们不会形成自然图像的统计模型。与它们不同的是，CNN通常在大型图像数据集上进行训练，允许它们对图像的显着特征进行建模和检测。本文利用这些深度特征的能力来表示图像中的显着区域，获得比基于 PCNN 的融合规则更好的效果。那为什么啊？是的，你。

 

权重图的获取

     

       K个特征图可用于生成 k 个权重图， 以指示每个图像在特定像素处的贡献量。这里使用softmax 算子，映射关系为：

       在第L层，得到一组权重图，在该层的图像融合计算公式为：

       为了从多层重建融合图像，选择各层融合图像中最大的像素构成最后的融合图像。

性能

结论

       本文算法与典型的基于神经网络的技术不同，该方法不需要事先对图像模态进行训练，并且可以很好地泛化以涵盖不同的融合模态。该方法可以极快的创建高质量零噪声融合图像。它对双模和三模图像融合的也适用，是一种轻量级的高质量技术，在实时系统和低能耗硬件上具有广阔的应用前景。

不足

       考虑到网络中更深层次的特征时，EN、MI和SSIM会减少，而融合噪声的数量会增加。这意味着与使用较浅的特征图重建的图像相比，从较深的特征图重建的图像包含更多在任何源图像中都不存在的信息。最后，所选择的深度对运行时效率的影响很小。（其特征图的深度不能自适应，需要通过实验来调整最合适的深度。）

其特征图的深度不能自适应，需要通过实验来调整最合适的深度。

        文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！