无人机平台红外可见光图像融合方法研究

南下进厂

已于 2022-08-26 21:08:56 修改

阅读量2k

点赞数

文章标签：无人机计算机视觉人工智能

于 2022-08-23 23:50:41 首次发布

本文链接：https://blog.csdn.net/weixin_39779415/article/details/126491750

版权

文章目录

一、问题阐述
二、融合方案
- 1.图像配准
- 2.图像融合
三、结果展示

一、问题阐述

异源图像融合要求两幅图像在同一坐标下严格对齐，即两幅图像严格配准，以确保融合效果在实际应用中的有效性。由于不同的时间段、不同的拍摄距离、不同的拍摄角度和不同的成像机制，多源传感器捕获的图像可能具有平移、旋转和缩放等空间变换关系。异源图像间没有严格的校准，因此需要在融合前进行配准。
图像经过严格配准后可以进行图像融合，但是异源图像在融合过程中常会遇到融合图像特征保留偏向于某一源图像、信息保留不完整、特征不够突出等问题，因此采用适当深度学习的方法对图像进行融合以解决上述问题。

二、融合方案

1.图像配准

在配准算法模型中，以GAN与UNET为骨干网络，选择红外图像为基准图像，通过空间变换网络R，模态翻译网络T与鉴别器D三个GAN网络深度学习模型同时训练对图像进行矫正。在该方法中，空间变换网络R负责生成图像配准的权重参数，并通过UNET网络生成形变场对图像进行矫正。转换网络中，模态翻译网络T负责将可见光翻译至近似于红外图像的模态，并与红外原图进行对抗训练。鉴别器D负责对可见光原图与网络T生成的假图进行对抗训练，并将损失传递至网络R与网络T，使最终由网络R生成的可见光原图准矫正后，达到与红外图像配准的效果。
在该方法中，3个GAN网络R、T、D在不断互相对抗学习中，通过网络R学习到的权重，与UNET网络所生成的形变场进行矫正与填充，逐步向实时频域电磁图像靠拢，使最终生成结果达到源图像对分辨率一致，拍摄对象配准的条件。至此，图像满足融合标准，开始对异源图像进行融合。