基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合(Matlab代码实现)

最新推荐文章于 2024-09-26 22:44:31 发布

wlz249

最新推荐文章于 2024-09-26 22:44:31 发布

阅读量552

点赞数 13

文章标签： matlab 开发语言

本文链接：https://blog.csdn.net/weixin_66436111/article/details/142549577

版权

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

💥1 概述

一、引言

二、基本原理

1. 视觉显著性图

2. 加权最小二乘优化

三、方法实现

1. 视觉显著性图提取

2. 加权最小二乘优化融合

四、实验结果与分析

1. 实验设置

2. 实验结果

五、展望

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现

💥1 概述

随着红外成像技术快速发展，红外目标识别系统在导弹精确制导、夜间导航等方面发挥着越来越重要的作用。红外小目标识别算法是红外成像检测系统的核心之一。红外小目标信噪比低，往往淹没于自然背景和系统噪声之中，如何快速、精确地识别红外小目标非常重要。红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。由于深度特征具有良好的泛化性、鲁棒性和发展潜力，很多基于深度学习的融合方法被提出，在深度特征空间进行图像融合，并取得了良好的效果。此外，受传统基于多尺度分解的融合方法的启发，不同尺度的特征有利于保留源图像的更多信息。红外与可见光图像融合技术充分利用不同传感器的优势，在融合图像中保留了原图像的互补信息以及冗余信息，提高了图像质量。近些年，随着深度学习方法的发展，许多研究者开始将该方法引入图像融合领域，并取得了丰硕的成果。根据不同的融合框架对基于深度学习的红外与可见光图像融合方法进行归类、分析、总结，并综述常用的评价指标以及数据集。另外，选择了一些不同类别且具有代表性的算法模型对不同场景图像进行融合，利用评价指标对比分析各算法的优缺点。最后，对基于深度学习的红外与可见光图像融合技术研究方向进行展望，总结红外与可见光融合技术，为未来研究工作奠定基础。本文章将用Matlab实现基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合。

基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合研究文档

一、引言

红外与可见光图像融合是图像处理领域的一个重要研究方向，旨在通过结合红外图像和可见光图像的优势，获得具有更高信息量和更好视觉效果的融合图像。红外图像能够反映物体的热辐射信息，对温度敏感的目标有较好的成像效果；而可见光图像则包含丰富的纹理和色彩信息，能够清晰描绘场景中的物体轮廓和细节。因此，红外与可见光图像融合在军事侦察、夜间导航、医疗诊断等领域具有广泛的应用前景。

随着深度学习、计算机视觉等技术的不断发展，基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合方法逐渐成为研究热点。本文将从基本原理、方法实现、实验结果及展望等方面对该研究进行详细介绍。

二、基本原理

1. 视觉显著性图

视觉显著性图是一种模拟人类视觉注意机制的工具，能够反映图像中各个区域的显著程度。在红外与可见光图像融合中，通过提取红外图像的视觉显著性图，可以凸显红外图像中的目标信息，为后续融合过程提供重要依据。

2. 加权最小二乘优化

加权最小二乘优化是一种数学优化方法，通过最小化加权误差平方和来求解最优解。在图像融合中，该方法可以综合考虑源图像的不同特征，通过优化算法得到融合效果最佳的融合图像。

三、方法实现

1. 视觉显著性图提取

首先，对红外图像进行预处理，包括去噪、增强等步骤。然后，采用局部对比度或基于机器学习的方法提取红外图像的视觉显著性图。在提取过程中，可以通过改变局部窗口的大小来获取多尺度的显著性图，并通过最大值优选叠加得到最终的显著性图。

2. 加权最小二乘优化融合

在得到红外图像的视觉显著性图后，将其与红外图像进行加权增强，以凸显目标信息。同时，对可见光图像进行预处理，保留其丰富的细节信息。然后，利用加权最小二乘优化方法，将增强后的红外图像和预处理后的可见光图像进行融合。在融合过程中，可以根据显著性图的权重分配不同源图像的信息，以实现最佳融合效果。

四、实验结果与分析

1. 实验设置

选择多组红外与可见光图像对进行实验，包括不同场景、不同光照条件下的图像。在实验过程中，采用常用的图像融合评价指标，如信息熵、标准差、平均梯度等，对融合结果进行评估。

2. 实验结果

实验结果表明，基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合方法能够有效结合红外图像的目标信息和可见光图像的细节信息，获得具有更高信息量和更好视觉效果的融合图像。与其他融合方法相比，该方法在客观评价指标和主观视觉效果上均表现出色。

五、展望

未来，随着深度学习、计算机视觉等技术的不断发展，基于视觉显著性图和加权最小二乘优化的红外与可见光图像融合方法将进一步完善和优化。例如，可以引入更先进的深度学习模型来提取更准确的视觉显著性图；同时，可以结合其他优化算法来进一步提高融合效果。此外，还可以将该方法应用于更多领域，如医疗影像分析、遥感图像处理等，以拓展其应用范围和实用价值。

📚2 运行结果

部分代码：

% This code is in association with the following paper
% "Ma J, Zhou Z, Wang B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J].
% Infrared Physics & Technology, 2017, 82:8-17."
% Authors: Jinlei Ma, Zhiqiang Zhou, Bo Wang, Hua Zong

clear all
close all

% I1 is a visible image, and I2 is an infrared image.
I1 = double(imread('images\Road_IR.jpg'))/255; I2 = double(imread('images\Road_Vis.jpg'))/255;

figure;imshow(I1);
figure;imshow(I2);

fused = WLS_Fusion(I1,I2);

figure;imshow(fused);

function fused = WLS_Fusion(I1,I2)

%% multi-scale decomposition using RGF and Gaussian filter
nLevel = 4; % levels
G1 = cell(1, nLevel + 1);
L1 = cell(1, nLevel + 1);
G1{1} = I1;
sigma_s = 2;
sigma_r = [0.05 0.05 0.05 0.05];
iteration = [4 4 4 4];
for i = 2 : nLevel
G1{i} = RollingGuidanceFilter_Guided(G1{i-1},sigma_s,sigma_r(i-1),iteration(i-1));
L1{i-1} = G1{i-1} - G1{i};
sigma_s = 2 * sigma_s;
end
sigma_s = 2;
G1{nLevel + 1} = gaussFilter(G1{nLevel},sigma_s);
L1{nLevel} = G1{nLevel} - G1{nLevel + 1};
L1{nLevel+1} = G1{nLevel+1};

G2 = cell(1, nLevel + 1);
L2 = cell(1, nLevel + 1);
G2{1} = I2;
sigma_s = 2;
sigma_r = [0.05 0.05 0.05 0.05];
for i = 2 : nLevel
G2{i} = RollingGuidanceFilter_Guided(G2{i-1},sigma_s,sigma_r(i-1),iteration(i-1));
L2{i-1} = G2{i-1} - G2{i};
sigma_s = 2 * sigma_s;
end
sigma_s = 2;
G2{nLevel + 1} = gaussFilter(G2{nLevel},sigma_s);
L2{nLevel} = G2{nLevel} - G2{nLevel + 1};
L2{nLevel+1} = G2{nLevel+1};

%% base layer fusion
weight1 = Visual_Weight_Map(I1);
weight2 = Visual_Weight_Map(I2);
BF = (0.5+0.5*(weight1-weight2)).*L1{nLevel+1} + (0.5+0.5*(weight2-weight1)).*L2{nLevel+1};

%% detail layer fusion
sigma0 = 2;
w = floor(3*sigma0);
C_0 = double(abs(L1{1}) < abs(L2{1}));
DF = C_0.*L2{1} + (1-C_0).*L1{1};

for i = nLevel : -1 : 2

w = floor(3*sigma0);
h = fspecial('gaussian', [2*w+1, 2*w+1], sigma0);
C_0 = double(abs(L1{i}) < abs(L2{i}));
C_0 = imfilter(C_0, h, 'symmetric');
M = C_0.*L2{i} + (1-C_0).*L1{i};

lambda = 0.01;
dd = Solve_Optimal(M,L1{i},L2{i},lambda);

DF = DF + dd;
end
%% fused image
fused = BF + DF;
end