【论文笔记】面向机载应用的多传感器图像融合技术综述

在成像方面，各传感器均受一定条件的制约，同时，目标自身状态和周边环境的变化也会在单一传感器中产生较大的成像差异。

按照较为严格的定义，图像融合是指综合和提取两个或多个多源图像信息，获得对同一场景或者目标更为准确、全面和可靠的图像，使之更加适合于人眼感知或计算机后续处理。而多传感器图像融合囊括了多个层次中信息融合所涵盖的相关处理和决策方式，其作用对象既包括不同传感器对同场景的感知解译，也包括同一传感器在一定时间区间内所获取的序列图像信息。

根据融合处理中信息合成所处的不同阶段，图像融合技术通常可大致分成三个层次：像素级融合、特征级融合、决策级融合。

（1）像素级融合

定义：待融合图像经过严格配准后对各源图像直接以像素点为单元进行信息综合与分析。像素级融合多数情况下被视为特征级融合和决策级融合的基础。目前对这种融合类型的研究最为集中。

主要任务：生成包含多源信息并具有高对比度的合成图像。

前提要求：各源图像在融合前必须进行严格配准。

不足：计算处理时间较长，对通信的带宽要求也较高。

（2）特征级融合

定义：从各源图像中提取所需要的特征信息，并将这些特征进行综合分析处理。

优势：1.保留足够重要信息的同时对信息实现有效压缩，有利于实时处理。2.有助于在各源图像中挖掘相关特征信息、增加信息维度，以建立更全面、更充分的新复合特征，用于后续的处理决策。3.对图像配准的要求不如像素级融合那样严格。

（3）决策级融合

定义：根据每个传感器数据源的可信度按一定准则对单模决策结果进行融合以得到最终的决策。可被理解为是一种全局最优决策。融合结果将为各种控制或决策提供依据。

特征：1.输入输出数据量通常低于像素级和特征级融合，也使其实时性在三者中最优。2.这种融合方式的信息损失最大。

在实际应用中融合层次并非严格按这三种方式划分，融合课相互交联以达到最佳效果。

 

  图像融合技术是将各传感器得到的图像信息进行综合分析并加以利用的过程，其数据来源于各个传感器。以下是常见的各种传感器。

 

   由于不同传感器对光谱和电磁波谱的敏感波段不同，图像融合实质上是实现多传感器宽波段覆盖探测的有效手段。

  通过将多元传感器获得的图像数据以像素点为操作单元进行融合，生成新的合成图像，从而达到视景增强的目的。图像融合的组合方式既包括非同类成像传感器信息融合，也包括同类多波段成像传感器的信息融合。

  对于直升机平台，夜间飞行员目视能力下降，若将微光夜视仪与红外热像仪成像结果进行融合，则可帮助飞行员显著提高对周边场景目标的感知和侦测能力。另外由于飞行高度较低，容易受到复杂地形和恶劣天气的影响，若将毫米波与红外成像进行融合，则有助于减轻飞行员在复杂环境下的操作负荷。对于舰载机平台，飞行员夜间目视观测仅能看到航母甲板上的跑道灯，无法直观知悉船体和海面的整体情况，若为舰载机装备着舰引导红外与可见光传感器的融合增强视景，有助于提高飞行员的着舰操作水平。当无人机执行打击后毁伤评估侦测任务时，实际战场存在大量烟雾、明火以及爆炸等较强干扰，依靠单一光学传感器难以做出正确评估，多光谱图像融合技术的优势在于可以从多维谱段对目标的毁伤状况进行综合评估，最大程度地抑制了战场环境的负面干扰源。

  利用图像拼接技术可以将多幅固定视场范围的图像拼接合成为大视场区域图像，这一技术既可应用于电子地图更新，也可应用于分布式红外传感器的全景视野显示。

  机载平台的高速运动使得光电传感器在成像时容易受到气动光学和运动模糊效应的影响，造成图像成像质量较低，场景目标不清晰。为获得尽可能高分辨率的影像，硬件改进和软件处理是常用的两种方法。

  硬件改进：提高光学系统性能、CCD 传感器密度、芯片尺寸和增大焦距等，这不仅增加了成本，而且还会增加传感器的体积和重量，不利于在机载平台上使用。

  与硬件改进相比，超分辨率重建作为一种软件处理方法，只需利用具有一定相关性的多幅序列图像之间的互补信息，采用合适的重建算法，将这些图像融合成一幅新的图像，使其分辨率比传感器源图像提高一倍以上，对场景目标的分辨能力大大增强，描绘图像细节的信息量也随之显著增大。

  

  图像超分辨率重建可视为一种基于时间域的图像融合技术，对高空高速机载平台有重要的应用价值。超分辨率重建可以为包括飞行员和地面指挥人员提供清晰的场景目标光电影像，便于正确分辨和识别敌方目标。此外，该技术也在一定程度上增加了传感器的探测距离，提高了飞机的安全性。

 

  自动目标检测与识别技术在精确制导武器系统中始终扮演核心角色，它利用计算机对前端传感器获取的信息进行处理解析，判断目标类型，并计算目标位置。

  多模图像自动目标跟踪技术是利用多传感器图像特征信息实现目标跟踪。通常它可基于像素级融合图像进行处理，也可以基于特征级和决策级融合进行跟踪。相比单模传感器自动目标跟踪技术，多模图像的优势在于它可以在全天时、全天候条件下进行。不仅如此，多传感器探测还增加了目标的特征维度，可有效克服跟踪过程中遇到的干扰，提高跟踪算法的鲁棒性。

  目前，将多传感器图像融合技术向机载应用平台推广需要解决如下问题：

（1）多源图像的配准

  不同类型的传感器具有不同的探测范围、分时间、图像分辨率、畸变模式等。图像融合首

先需要解决的问题是将各传感器图像进行像素级或区域级对准。

  通常，多源图像可以通过物理方式和软件方式进行配准。前者更多考虑传感器安装时的相对位置，这种方式仅适用于一些比较简易的场合；后者则采用配准算法实现图像间的对准，对算法的稳定性和实时性要求较高。

  目前，取得研究成果较多的同类图像配准是可见光，而红外图像和 SAR 图像的配准问题相对困难。对于异类图像，提取共性特征十分困难，这也为配准带来了很大难度。当然，异类图像工程上也可通过物理对准或间接配准等方式来解决，但攻克多源图像配准这一难题是图像融合技术应用的前提。

（2）算法运行效率的提高

  实际上，机载平台的信息处理能力是有限的，在设计融合算法时，需要根据实际应用环境合理安排串行与并行计算模块，还要结合图像融合的层次和策略来考虑。此外，对于处理器和存储器的选择，需要兼顾安装成本与效能。

（3）图像融合策略的选取

  不同的使用需求需要考虑有针对性的传感器组合才能达到效果，某些情况下多传感器融合性

能可能不及单传感器。目前，特征的组合方式有串联模式、并联模式、线性相关模式和非线性相关模式等。

（4）传感器性能的提升

多传感器图像融合的信息来源于各传感器的探测信息，因此传感器的性能水平决定了最终的融合效果。