光谱SNV预处理——基于Python实现

SNV（Standard Normal Variate）预处理是一种常用的高光谱数据预处理方法，用于消除光谱数据中的散射效应和基线漂移等干扰因素，提高数据的建模性能。

SNV预处理的基本思想是对每个样本的光谱数据进行标准化，使其均值为0，标准差为1。具体步骤如下：

1. 对于每个样本的光谱数据，计算其所有波段的平均值和标准差。

2. 对每个样本的每个波段，减去该样本的平均值，然后除以该样本的标准差。

SNV预处理的优点包括：

1. 消除了光谱数据中的散射效应和基线漂移等干扰因素，提高了数据的可比性。

2. 不需要参考样本或额外的信息，每个样本独立进行预处理，易于实现。

3. 预处理后的数据具有零均值和单位方差，便于后续的建模和分析。

其具体实现如下：

import numpy as np
import pandas as pd

def snv(data):
    """
    对输入数据进行标准正态变量（SNV）预处理
    :param data: 二维numpy数组，每一行代表一个样本，每一列代表一个波段
    :return: 预处理后的数据
    """
    # 计算每个样本的平均值和标准差
    mean = np.mean(data, axis=1, keepdims=True)
    std = np.std(data, axis=1, keepdims=True)
    
    # 对每个样本进行标准化
    snv_data = (data - mean) / std
    
    return snv_data

# 读取CSV文件
df = pd.read_csv('hyperspectral_data.csv')

# 提取波段名称
bands = df.columns[:-1].tolist()

# 提取标签
labels = df.iloc[:, -1].values

# 提取光谱数据
spectral_data = df.iloc[:, :-1].values

# 对光谱数据进行SNV预处理
preprocessed_data = snv(spectral_data)

# 将预处理后的数据转换为DataFrame
preprocessed_df = pd.DataFrame(preprocessed_data, columns=bands)

# 将标签添加到DataFrame的最后一列
preprocessed_df['label'] = labels

# 保存预处理后的数据到新的CSV文件
preprocessed_df.to_csv('preprocessed_data.csv', index=False)