高光谱图像处理技术 || 认识高光谱图像

认识高光谱图像

1. 什么是高光谱图像

谈到光谱就不得不提到遥感技术, 因为光谱可以通过非直接接触的方式获取.

遥感通俗地讲就是不用接触的，远距离的探测技术。一般指运用传感器或遥感器对物体（以实物和地面设施居多）的电磁波的辐射、反射特性的探测。获取物体反射、辐射或散射的电磁波信息（如电场、磁场、电磁波、地震波、光波等信息），并进行提取、判定、加工处理、分析与应用的一门科学和技术。

既然提到了光波，那么高光谱就成为了遥感技术最重要的应用之一。 人类的眼睛只能捕捉到特定波长的可见光, 而光谱分辨率在10-2λ数量级范围内包括大量不可见光形成的光谱图像称为高光谱图像(Hyperspectral Image, HSI)。可以使用高光谱传感器（即光谱成像仪）对需要探测的物体进行在电磁波谱数十至数百个连续且细分的光谱波段对目标区域同时成像。获得的图像中包含了大量信息，以光谱信息和地表信息为主，但其中有些波段信息冗余，故需要进行数据预处理后方可使用。

通俗地讲, 高光谱图像是一个特殊的三维图像, 只不过灰度图像是两维, RGB 彩色图像虽然是三维图像但只有3层, 而高光谱图像是由多个灰度图像组成的三维图像. 比如对一个物体进行高光谱成像，使用 $200\times 200$ 像素并且选择300个波段，那么最终成像结果是 $200\times 200\times 300$ 的三维立体图像。可以理解为每一个像素上有300维的光谱域信息，300幅图像中相同位置像素的灰度值画成曲线表示出来便是这一像素点的光谱域信息了。也就是说，高光谱图像不仅包含丰富的光谱域信息，同时也跟一般的二维图像一样，包含相同的空间域信息。

1.1 高光谱图像的优势

基于测谱学原理，高光谱将紫外、可见光、近红外以及中红外区域的连续光谱信息形成一体式感知，其极高的光谱分辨率，冲破了人类视觉的可见光探知范围，使得像元表达更接近观测目标的物理本质。具体而言，高光谱成像技术利用成像光谱仪，实现了表征光谱响应的一维特征与反映目标分布情况的二维几何信息的联合获取，促使高光谱图像既能够以图像方式刻画目标，还能够借助精细电磁波谱进行光谱探测，完成图像与光谱信息的结合。高光谱图像集空、谱多维信息于一体，可实现复杂地表覆盖的精细分类、自动探测以及地表参量的定量化反演等。与宽波段遥感探测手段采集的图像相比，大部分地物的吸收特征峰半宽度为20~40nm，而高光谱成像系统连续波段光谱分辨率一般在10nm以内，对感兴趣目标的属性鉴别能力更强。因此，从待观测目标的精准解译和典型地物的诊断性识别角度来看，高光谱数据具有红外、可见光以及合成孔径雷达等数据无法比拟的优势。因此，高光谱遥感既是对地观测的重要手段，也是空间信息网络中不可或缺的组成部分，在航天遥感和对地观测等多项任务中发挥了积极作用。

1.2 高光谱图像的劣势

高光谱图像数据量大，测量复杂度很高，具备典型的高数据体量特性。其次，高光谱图像的光谱分辨率高，包含较多波段，形成了高特征维度特性此外，高光谱图像的波段之间具有强相关性，图像的谱间相关系数大，易造成高光谱冗余信息堆叠，并且该冗余伴随成像波段数目以及成像分辨率的增高而增加，具备典型高冗余度特性。最后，高光谱图像标签样本采集困难，人工标注成本高昂，在真值数据获取方面具有高标注代价的特点。

高光谱图像的高数据体量特性，致使基于高光谱图像的分析处理所涉及的运算量较大，计算负担较重；高冗余度特性为数据处理及分析带来困难，严重影响模式分类等方法的有效性；高标注代价特性通常可导致实际分类应用中有效训练样本数目不足使得小样本问题成为掣肘高光谱数据分析的难题，小样本与高特征维度联立，极大地增加了数据分析的难度，容易造成“维数灾难”现象。而且，高光谱图像分类方法，如机器学习及深度学习方法，依赖大量样本进行模型的有效训练，而高光谱遥感图像配备的标注样本数量少、分布不均衡，影响分类模型的设计和精细分析效果。因此，尽管高光谱数据中包含着丰富的空、谱信息，具备极强的地物属性识别能力，且相关研究成果甚广，但如何有效利用高光谱的数据特性，使其在多样化的应用场景下最大限度地发挥优势依然是学术界及工业界重点关注的问题。

在遥感（Remote Sensing）中，高光谱遥感器广泛用于以高光谱分辨率监视地球表面。HSI数据通常包含同一空间区域上的数百个光谱带，这些光谱带提供了识别各种材料的有价值的信息。 在HSI中，每个像素（pixel）都可以视为一个高维向量，像素的数值对应于从可见光到红外的光谱反射率（spectral reflectance）。

高光谱数据的采集和收集变得越来越容易，这使得高光谱图像分析成为许多应用中的有前途的技术之一，包括精准农业，环境分析，军事监视，矿物勘探，城市调查等。

高光谱图像分类（Classification of Hyperspectral Images）是对图像中每个像素的类标签进行分类的任务。

困难之处在于，没有流行的HSI数据源，这使得初学者很难开始进行HSI分析。以下是HSI的一些数据源。

Grupo De Inteligencia Computacional
Remote Sensing Laboratory

1.3 高光谱图像处理技术

高光谱图像所捕获的光谱信息以及对应高光谱数据对象之间的非线性关系,给高光谱图像的分析带来了困难. 高光谱图像的主要任务包括: 降维操作、光谱分解、通道检测分类、用于分类的特征学习、修复和去噪、分辨率提高。

2. 高光谱图像的读取

高光谱图像由于是 3D 矩阵, 而且谱方向数目多于 3, 无法直接用彩色图像进行展示, 需要提取单层的灰度图像, 或者随机的选取 3 个 间隔较大的灰度图像组成伪彩色图像进行展示.

import scipy.io as sio
import matplotlib.pyplot as plt

img_dic = sio.loadmat('./HSI_Datasets/simu_indian.mat')
img_mat = img_dic['simu_indian']

plt.imshow(img_mat[:,:,1])
plt.axis('off')
plt.show()

3. 生成伪彩色图像

由于高光谱图像是一个三维矩阵,无法通过RGB图像进行展示

import numpy as np
import scipy.io as sio
import matplotlib.pyplot as plt

img_dic = sio.loadmat('./HSI_Datasets/simu_indian.mat')
img_mat = img_dic['simu_indian']
img_mat.shape
‘’‘
(145, 145, 224)
’‘’
# 高光谱图像变为伪彩色图像, 其中 参数 layers 为选取的三个谱层采样,如[0, 112, 223]

def RGB_HSI(mat,layers):
    X = np.zeros((mat.shape[0],mat.shape[1],3))
    X[:,:,0] = mat[:,:,layers[0]]
    X[:,:,1] = mat[:,:,layers[1]]
    X[:,:,2] = mat[:,:,layers[2]]
    
    plt.imshow(X)
    plt.show()

RGB_HSI(img_mat, [0, 112, 223])

4. 生成三维图像

import numpy as np
import scipy.io as sio
import matplotlib.pyplot as plt

img_dic = sio.loadmat('./HSI_Datasets/simu_indian.mat')
img_mat = img_dic['simu_indian']
img_mat.shape
‘’‘
(145, 145, 224)
’‘’

# 三维图像展示
def HSI_3D(mat_origin,p):
    m1,n1,k1 = mat_origin.shape
    m1 = int(np.round(m1*p))
    n1 = int(np.round(n1*p))
    
    mat = np.zeros((m1,n1,k1))
    for t in range(k1):
        mat_img = Image.fromarray(mat_origin[:,:,t])
        mat_img = mat_img.resize((n1,m1))
        mat[:,:,t] = np.array(mat_img)
    
    
    m, n, k = mat.shape
    X = np.ones((m+k,n+k))
    X[k:m+k,0:n] = mat[:,:,0]
    
    for i in range(k):
        X[k-i,i:n+i] = mat[0,:,i]
        X[k-i:k-i+m,n+i] = mat[:,n-1,i]
    
    plt.imshow(X,cmap='gray')
    plt.axis('off')
    plt.show()

HSI_3D(img_mat,6) # 6为正面图像放大的倍数,展示出来更美观