【图像融合】融合算法综述

最新推荐文章于 2025-04-11 20:24:38 发布

一只蜗牛儿

最新推荐文章于 2025-04-11 20:24:38 发布

阅读量2.9k

点赞数 12

文章标签：算法 opencv 计算机视觉

本文链接：https://blog.csdn.net/qq_42978535/article/details/144733839

版权

1. 什么是图像融合？

图像融合是一种将多幅不同来源的图像信息合成一幅图像的过程，旨在提供比单幅图像更全面、更准确的信息。图像融合通常用于遥感、医学成像、计算机视觉等领域，其目的是将各个图像中的有效信息整合，从而得到一个综合图像，能更好地揭示图像的细节和特征。

在本篇综述中，我们将介绍几种常见的图像融合方法，并通过代码实例展示其应用。

2. 图像融合的常见方法

图像融合方法可以分为两大类：像素级融合和特征级融合。

像素级融合：直接对像素进行加权平均或其他操作，常见的像素级融合方法有加权平均法、小波变换法等。
特征级融合：先从图像中提取特征，再对特征进行融合。常见方法包括PCA（主成分分析）、SIFT（尺度不变特征变换）等。

我们在本篇中重点讨论几种像素级融合方法，并结合代码进行讲解。

3. 图像融合方法综述

3.1 加权平均法（Weighted Averaging）

加权平均法是一种最简单的图像融合方法，通过对多幅图像的每个像素进行加权平均，得到最终的融合图像。其基本思想是给每个图像分配一个权重，图像融合过程就是对每个像素值进行加权平均。

公式：
[
I_{fused}(x, y) = \sum_{i=1}^{n} w_i \cdot I_i(x, y)
]
其中，( I_i(x, y) ) 是第 ( i ) 幅图像的像素值，( w_i ) 是第 ( i ) 幠图像的权重。

3.1.1 代码实现

import cv2
import numpy as np

# 加载图像
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')

# 调整图像大小为相同
image2 = cv2.resize(image2, (image1.shape[1], image1.shape[0]))

# 权重
alpha = 0.7
beta = 1 - alpha

# 图像加权平均融合
fused_image = cv2.addWeighted(image1, alpha, image2, beta, 0)

# 显示融合后的图像
cv2.imshow('Fused Image', fused_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

说明：在此代码中，cv2.addWeighted 函数实现了图像的加权平均融合。我们设置 alpha 为 0.7，beta 为 0.3，表示 image1 的权重是 0.7，image2 的权重是 0.3。通过这种方式融合两幅图像，得到一个综合图像。

3.2 小波变换法（Wavelet Transform）

小波变换是一种通过将图像分解为不同频率分量的方式来实现图像融合的方法。该方法将图像分解成低频和高频部分，然后在这些频率分量上进行融合，最后将它们组合成一幅图像。小波变换在去噪、图像增强以及特征提取等方面有着广泛的应用。

步骤：

对图像进行小波变换，分解成不同的子带（低频和高频）。
对每个子带进行融合（常用方法是选择最大值或加权平均）。
使用小波逆变换将融合后的子带重新合成图像。

3.2.1 代码实现

import pywt
import numpy as np
import cv2

# 读取图像
image1 = cv2.imread('image1.jpg', cv2.IMREAD_GRAYSCALE)
image2 = cv2.imread('image2.jpg', cv2.IMREAD_GRAYSCALE)

# 对图像进行小波变换（这里使用Haar小波）
coeffs1 = pywt.dwt2(image1, 'haar')
coeffs2 = pywt.dwt2(image2, 'haar')

# 分解小波系数
LL1, (LH1, HL1, HH1) = coeffs1
LL2, (LH2, HL2, HH2) = coeffs2

# 进行融合（简单选择最大值）
LL_fused = np.maximum(LL1, LL2)
LH_fused = np.maximum(LH1, LH2)
HL_fused = np.maximum(HL1, HL2)
HH_fused = np.maximum(HH1, HH2)

# 合并小波系数
coeffs_fused = LL_fused, (LH_fused, HL_fused, HH_fused)

# 进行逆小波变换
fused_image = pywt.idwt2(coeffs_fused, 'haar')

# 显示融合后的图像
cv2.imshow('Fused Image', fused_image.astype(np.uint8))
cv2.waitKey(0)
cv2.destroyAllWindows()

说明：在此代码中，我们使用 pywt.dwt2 进行小波变换，将图像分解为低频（LL）和高频（LH, HL, HH）子带。然后我们选择每个子带的最大值来融合两个图像，最后通过 pywt.idwt2 进行逆小波变换，得到融合后的图像。

3.3 PCA（主成分分析）融合

主成分分析（PCA）是一种常用的降维方法。它通过寻找图像数据的主成分，去除冗余信息，从而实现图像的降维和融合。在图像融合中，我们可以利用PCA提取图像的主要特征，并将不同图像的特征融合到一个新的空间中。

步骤：

将多幅图像展开成一个大矩阵。
对矩阵进行PCA处理，得到主要成分。
将每个图像映射到PCA的空间中，并进行融合。
使用逆PCA将融合后的特征映射回图像空间。

3.3.1 代码实现

from sklearn.decomposition import PCA
import numpy as np
import cv2

# 读取图像并转为灰度图
image1 = cv2.imread('image1.jpg', cv2.IMREAD_GRAYSCALE)
image2 = cv2.imread('image2.jpg', cv2.IMREAD_GRAYSCALE)

# 将图像展平成向量
image1_flattened = image1.flatten()
image2_flattened = image2.flatten()

# 合并两幅图像为一个矩阵
data = np.vstack([image1_flattened, image2_flattened])

# PCA降维
pca = PCA(n_components=1)  # 提取一个主成分
pca.fit(data.T)

# 得到PCA特征
image1_pca = pca.transform(image1_flattened.reshape(1, -1))
image2_pca = pca.transform(image2_flattened.reshape(1, -1))

# 将两幅图像的PCA特征融合
fused_pca = (image1_pca + image2_pca) / 2

# 使用逆变换恢复融合后的图像
fused_image = pca.inverse_transform(fused_pca)

# 将恢复的图像重新转为二维矩阵
fused_image = fused_image.reshape(image1.shape)

# 显示融合后的图像
cv2.imshow('Fused Image', fused_image.astype(np.uint8))
cv2.waitKey(0)
cv2.destroyAllWindows()