基于多源遥感图像多级协同融合的舰船识别算法

源自：电子工程与电子技术

作者：张亚丽  冯伟  全英汇  邢孟道

“人工智能技术与咨询”  发布

摘 要

针对极化合成孔径雷达(polarimetric synthetic aperture radar, PolSAR)图像存在斑点噪声严重、可视性差、直接影响目标识别精度的问题, 提出一种基于多源遥感图像多级协同融合的舰船识别算法。通过采用多级协同融合方式, 丰富图像的特征量, 提高舰船识别精度。所提方法首先进行多源遥感数据的像素级融合, 然后在上一步基础上进行特征级融合, 最终得到新的目标特征。所提方法充分发挥了不同频段的PolSAR与多光谱图像的信息互补优势，不仅保留了多频段PolSAR对目标的极化散射特征, 也保留了多光谱数据的空-谱信息。所提方法在可视性与检测精度上表现都较为出色，与传统的单一遥感数据相比, 识别精度至少提高了5.12%。

关键词

学习型特征, 特征匹配, 多源遥感影像, 影像配准, 双向一致性变换

引 言

海上船舶目标监测对国防安全和经济与贸易发展有着重要的意义[1]。随着遥感领域的快速发展[2], 光学图像广泛被应用于国防建设、海上救援[3]、船舶交通、渔业管理[4]等海洋应用中。但光学图像成像易受云、雨、雾等影响[5], 因此获取高质量的遥感信息较为困难。而极化合成孔径雷达(polarized synthetic aperture radar, PolSAR)穿透能力强, 可以弥补光学图像的不足。PolSAR是一种具有全天时、全天候优势[6]的高分辨率成像雷达, 可以在复杂气象条件下得到类似光学照相的高分辨率雷达图像[7], 能够有效地解决光学卫星在夜间和恶劣天气条件下无法监测海洋目标的问题, 是目前海洋监测和海洋目标检测的重要手段[8]。但PolSAR图像一直存在斑点噪声严重[9]、可视性较差的问题, 特别是对大范围中的小目标更加难以观测[10]。光学图像包含丰富的细节及纹理信息, 可以弥补PolSAR图像可视性较差的问题。可通过将两者进行有机融合, 弥补PolSAR图像可视性较差及光学图像质量低的问题[11]。

多源图像融合是指将来自多种不同传感器、同一目标区域的图像信息进行数据融合。相较于单一传感器获得的图像, 融合后数据的信息更丰富、特征更清晰、可利用价值更高[12], 更有利于提高地物的分类精度。近年来, 多光谱与PolSAR图像的融合广受关注, 且已有研究人员提出一系列有效的算法, 并将算法逐步用于土地覆盖研究、海洋监测、陆地变化检测等领域[13]。目前, 已有研究学者提出在像素级、特征级、决策级对PolSAR图像和光学图像进行融合。

针对像素级的融合方法较多, 比如基于分量替换的方法[14-15]、基于多尺度分解的方法[16-17]、基于模型的方法[18]等, 此类方法主要是直接对图像的像素值进行融合。像素级图像融合相较于其他两类, 在计算复杂度与性能比方面更有优势[19], 因此应用较为广泛。文献[20]提出将多光谱图像的纹理信息与PolSAR图像的偏振特征结合, 通过融合极化信息和纹理信息, 运用无监督分类, 可明显提高建筑物的分类精度。由于全极化图像在预处理时, 需要进行多视处理, 使得图像中的地物丢失了大量的边缘与角点信息[21]。文献[22]提出基于主成分分析(principal component analysis, PCA)法, 将HSV(hue, saturation, value)变换PolSAR与光学图像进行融合, 该方法有效地丰富了PolSAR图像的色彩信息, 使其细节与边缘信息更加突出。文献[23]提出基于空谱信息协同与Gram-Schmidt变换的方法将Sentinel-2A与Gaofen-3号图像进行融合, 使分类精度整体提高了5%。与原来的图像相比, 融合图像的纹理锐度和空间分辨率都得到了很大程度的提升[11], 但图像特征量并未得到较多拓展。

特征级融合是指先提取原始图像的纹理特征、几何特征等特征, 再将其堆叠融合成新的特征[24]。文献[25]提出对极化和空间特征进行特征融合, 以提高PolSAR图像的分类精度。但由于特征维数的限制, 其效率较低。针对特征利用不充分问题, 文献[26]提出基于复合核的特征融合对PolSAR进行分类，实验证明该方法能够有效地利用PolSAR图像中包含的地极化和空间信息, 提高分类精度。以上特征融合方法中的特征仅仅局限于极化和空间特征, 没有使分类精度得到大幅度提升, 因此图像的特征量也并未得到拓展, 且该类方法对特征提取方法有效性的依赖很大[27]。

决策级图像融合是指分别对原始图像进行处理和分类, 然后根据一定的决策规则对前述结果进行融合[28]。文献[29]通过对多个分类器的分类结果进行决策融合, 进而提高了高光谱影像的分类精度[29], 但此类方法依赖于单个分类器的分类精度, 需要事先进行调研, 因此该方法可靠性低, 成本较高[30]。

综上所述, 单一融合方式存在不能充分利用数据特征信息、可靠性较低的问题, 因此需要研究多级的融合方式, 进一步提高数据特征的利用率[31-32]。

近年来, 有研究学者提出将特征级与决策级相结合, 进行多源图像融合。文献[33]在森林分类任务中提出通过结合目标特征对光学及PolSAR图像进行决策融合, 其整体分类精度提高了约4%。文献[34]提出基于高光谱和PolSAR数据的特征级及决策级的融合方式，该方法相比于单级融合方式在地物总体分类精度上提高了约4%。但该类方法信息损失严重, 且依赖于特征提取方法及单个分类器的分类结果[35]。

同时, 目前图像融合多针对两种数据源的单层级融合, 或是针对多源数据进行特征级及决策级融合, 信息量利用率低, 计算复杂度高。另外, 近年来, 深度学习凭借分类识别