制备高光谱与多光谱融合数据集Pavia University (PU) 用于CNMF算法融合教程
本文介绍了如何使用Python对Pavia University的高光谱数据进行处理,实现高光谱与多光谱融合,此技术广泛应用于遥感图像分析,对环境监测、城市规划等领域具有重要意义。
制备高光谱与多光谱融合数据集Pavia University (PU) 用于CNMF算法融合教程
一、融合定义
二、制备PU数据集
1.融合数据集制备流程
2.步骤详解
2.1 PU数据与IKNOS光谱响应函数下载
2.2 训练集制作
三、CNMF算法实施
3.1 下载开源代码
3.2 修改代码运行
一、融合定义
高光谱与多光谱融合是遥感图像处理中的一个技术,用于结合高光谱图像和多光谱图像的优点,从而生成具有高空间分辨率和高光谱分辨率的图像。这种融合技术在遥感、环境监测、农业、城市规划等领域有着广泛的应用。
高光谱图像 (HSI)
- 特点:高光谱图像捕捉了光谱的许多细小波段,通常在几十到几百个波段之间,因此具有高光谱分辨率。
- 优点:能够捕捉更多的光谱信息,有助于更准确地识别和分类不同的物质。
- 缺点:空间分辨率较低,即图像的空间细节较少。
多光谱图像 (MSI)
- 特点:多光谱图像捕捉了少量的光谱波段(通常在3到10个波段),但是具有较高的空间分辨率。
- 优点:空间分辨率高,能够捕捉更详细的空间细节。
- 缺点:光谱分辨率较低,即光谱信息较少。
高光谱与多光谱融合的目标
通过融合高光谱图像和多光谱图像,我们希望生成一幅既具有高光谱分辨率又具有高空间分辨率的图像。具体目标包括:
- 保留高光谱图像的光谱信息:高光谱图像提供了丰富的光谱信息,能够识别不同的物质和材料。
- 增强空间分辨率:通过引入多光谱图像的高空间分辨率,能够增强图像的空间细节。
二、制备PU数据集
Pavia University(PU)数据集是由ROSIS传感器于2003年在意大利Pavia大学进行遥感侦测时拍摄采集的,原始图像尺寸为610×340像素,每个像素地面采样距离为1.3米,波长范围为430纳米到860纳米,原始数据集有115个波段,其中有22个波段为水蒸气吸收波段,去除之后剩下93个波段。在PU数据集的伪彩色图像如图所示,图中已经将原图像顺时针旋转90°以方便展示。
要制备 Pavia University (PU) 数据集用于 CNMF (Coupled Non-negative Matrix Factorization) 算法的高光谱与多光谱融合,需要遵循以下步骤:
1.融合数据集制备流程
原则上,重建的高光谱图像与 HR-MSI 相同空间分辨率的高光谱传感器采集的高质量高光谱图像越相似越好。为了定量地评判图像的融合效果,有必要使用一张理想图像作为参考,计算融合图像与高质量的理想图像之间的误差。然而这种理想图像在现实生活中并不存在,这为融合结果的定量评估造成困难。为解决这个问题,Wald 提出了 Wald 协议。在 Wald 协议中,数据集中的原本的高分辨率图像被当作参考图像,经过空间下采样得到低分辨率高光谱图像,经过光谱下采样得到高分辨率多光谱图像。
- 数据准备:
- 从 Pavia University 数据集中获取高光谱图像。
- 将原始高分辨率高光谱图像作为参考图像。
- 生成低分辨率高光谱图像(LR-HSI):
- 对原始高分辨率高光谱图像进行空间下采样。空间下采样可以通过降低图像的空间分辨率来实现。
- 常见的下采样方法包括最近邻插值、双线性插值和双三次插值。
- 生成高分辨率多光谱图像(HR-MSI):
- 对原始高分辨率高光谱图像进行光谱下采样。光谱下采样可以通过选择部分波段或使用滤波器来实现。
- 模拟生成多光谱图像,通常采用某个相机的光谱响应函数来模拟。
- 高光谱与多光谱融合:
- 使用 CNMF(Coupled Non-negative Matrix Factorization,耦合非负矩阵分解)算法进行融合。
- 将低分辨率高光谱图像和高分辨率多光谱图像联合分解为共享的空间模式矩阵和各自的光谱表示矩阵。
- 优化这些矩阵以最小化重建误差,并重构融合后的高光谱图像。
- 评估融合效果:
- 将融合后的高光谱图像与参考图像进行对比,计算重建误差等指标。
- 常见的评估指标包括 PSNR(峰值信噪比)、SAM(光谱角度映射)、ERGAS(相对全局误差)、SSIM(结构相似性)和 RMSE(均方根误差)。
2.步骤详解
2.1 PU数据与IKNOS光谱响应函数下载
访问官网,复制到浏览器打开,点击我们想要下载的数据
https://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes
点解PU数据下载,后面那个是用于高光谱分类任务可以不用下载,这里我们只需要原始文件
下载光谱响应函数:https://fsf.nerc.ac.uk/resources/post-processing/SRF.shtml
这个链接里也提供了很多传感器的光谱响应函数
https://nwp-saf.eumetsat.int/site/software/rttov/download/coefficients/spectral-response-functions/#mw
当然也可以在github中去找别人上传的
这里我们选择IKONOS2来生成多光谱
已经上传百度网盘,可以直接获取光谱响应函数R.mat与PU原文件
链接:https://pan.baidu.com/s/1lT4dDFPNa_MYAgDQWxE2BQ?pwd=hci3
提取码:hci3