基于多源遥感和多种机器学习分类器方法（决策树、K最近邻分类、高斯朴素贝叶斯、XGBoost、LightGBM和CatBoost）分析了冰山洪水风险指标

于 2025-05-22 23:30:00 发布
阅读量1.2k 收藏 44
点赞数 41
分类专栏： 机器学习 文章标签： 机器学习 人工智能 python sklearn xgb svm 贝叶斯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31988139/article/details/148066431
版权

使用多种分类器分析指定地区洪水风险

在这篇博客中，我们将使用 Python 中的多个机器学习分类器来分析指定地区的洪水风险。我们将通过数据预处理、模型训练和评估来探讨不同分类器的表现。

机器学习方法

机器学习分类算法详解：决策树、K最近邻、高斯朴素贝叶斯、XGBoost、LightGBM 和 CatBoost

在机器学习中，分类算法是用于将输入数据分配到特定类别的关键工具。本文将详细介绍六种流行的分类算法：决策树、K最近邻（KNN）、高斯朴素贝叶斯、XGBoost、LightGBM 和 CatBoost。这些算法在不同的应用场景中各有优劣，了解它们的原理和特点有助于我们选择合适的模型。

1. 决策树（Decision Tree）

原理

决策树是一种基于树形结构的监督学习算法。它通过将数据集分割成更小的子集来进行决策。每个节点代表一个特征，每个分支代表特征的一个可能值，而每个叶子节点则代表最终的分类结果。

特点

  • 易于理解与解释：决策树的结构直观，容易被人类理解，可以通过可视化展示。
  • 无需特征缩放：决策树不受特征尺度的影响，因此不需要进行归一化或标准化处理。
  • 处理缺失值：决策树能够处理缺失数据，具有较强的鲁棒性。

缺点

  • 过拟合：决策树容易对训练数据过拟合，尤其是在树的深度较大时。
  • 不稳定性：小的变化可能导致树结构的巨大变化，因此决策树对数据的微小变动敏感。

应用场景

决策树广泛应用于医疗诊断、金融风险评估和客户分类等领域。

2. K最近邻分类（K-Nearest Neighbors, KNN）

原理

K最近邻是一种基于实例的学习方法。它通过计算待分类样本与训练集中所有样本的距离（通常使用欧氏距离），选择距离最近的 K 个样本，根据这 K 个样本的类别进行投票，从而确定待分类样本的类别。

特点

  • 简单易懂：KNN算法简单，易于实现和理解。
  • 无参数模型：KNN不需要训练过程，所有的计算都在预测时进行。
  • 适应性强：适合处理多分类问题。

缺点

  • 计算量大：随着数据集的增大，计算距离的时间复杂度会显著增加。
  • 对噪声敏感：KNN对异常值和噪声数据敏感，可能影响分类结果。
  • 特征缩放：KNN对特征的尺度敏感，通常需要进行归一化处理。

应用场景

KNN常用于推荐系统、图像识别和社交网络分析等领域。

3. 高斯朴素贝叶斯（Gaussian Naive Bayes）

原理

高斯朴素贝叶斯是一种基于贝叶斯定理的分类算法。它假设特征之间相互独立，并且特征服从高斯分布。该算法通过计算每个类别的后验概率来进行分类，最终选择具有最大后验概率的类别。

特点

  • 计算效率高：高斯朴素贝叶斯训练和预测的速度都非常快，适合处理大规模数据。
  • 适用于高维数据：在特征维度较高的情况下，朴素贝叶斯仍然能保持良好的性能。
  • 处理缺失值：能够有效处理缺失数据。

缺点

  • 假设独立性：特征之间的独立性假设在现实中往往不成立，可能影响模型性能。
  • 对小样本敏感：在样本量较小的情况下，模型可能不够稳定。

应用场景

高斯朴素贝叶斯广泛应用于文本分类、垃圾邮件过滤和情感分析等任务。

4. XGBoost（Extreme Gradient Boosting）

原理

XGBoost是一种基于梯度提升树（Gradient Boosting Tree）的集成学习算法。它通过构建多棵决策树来提高模型的准确性。每棵树都是在前一棵树的基础上进行改进，以减少预测误差。

特点

  • 高效性：XGBoost采用了并行计算和缓存优化，训练速度快。
  • 防止过拟合：通过正则化项（L1和L2正则化）来控制模型复杂度，降低过拟合风险。
  • 处理缺失值：能够自动处理缺失数据。

缺点

  • 参数调优复杂：XGBoost有许多超参数需要调整，可能导致调优过程复杂。
  • 内存消耗大：在处理大数据集时，内存占用较高。

应用场景

XGBoost在Kaggle比赛和金融风控、广告点击率预测等领域表现优异。

5. LightGBM（Light Gradient Boosting Machine）

原理

LightGBM是微软提出的一种基于梯度提升框架的高效实现。与传统的梯度提升树不同，LightGBM采用了基于直方图的决策树学习算法，能够更快地处理大规模数据集。

特点

  • 速度快：LightGBM通过直方图算法和基于叶子的生长策略，显著提高了训练速度。
  • 内存占用低：相较于其他梯度提升算法，LightGBM在内存使用上更为高效。
  • 支持类别特征：LightGBM能够直接处理类别特征，无需进行独热编码。

缺点

  • 参数调优：虽然LightGBM的默认参数表现良好，但在特定任务中仍需进行调优。
  • 对小样本敏感：在样本量较小的情况下，可能导致模型不稳定。

应用场景

LightGBM在金融、推荐系统和广告点击率预测等领域得到广泛应用。

6. CatBoost（Categorical Boosting）

原理

CatBoost是由Yandex开发的一种梯度提升算法，专注于处理类别特征。CatBoost使用一种特殊的方式处理类别特征，避免了常规方法中的过拟合问题。

特点

  • 自动处理类别特征：CatBoost能够自动识别和处理类别特征，无需手动编码。
  • 高效性：CatBoost在训练速度和内存使用上表现优异，适合大规模数据集。
  • 鲁棒性：CatBoost对缺失值和异常值具有较强的鲁棒性。

缺点

  • 对超参数敏感：尽管CatBoost的默认参数表现良好，但在某些情况下仍需进行调优。
  • 学习曲线：对于初学者来说，CatBoost的学习曲线可能相对陡峭。

应用场景

CatBoost在金融、广告、推荐系统和自然语言处理等领域得到了广泛应用。

总结

在选择分类算法时，我们需要考虑数据的特性、任务的复杂性以及模型的可解释性等因素。决策树适合于简单的分类任务，KNN在小数据集上表现良好，而高斯朴素贝叶斯则适合文本分类等高维数据。XGBoost、LightGBM 和 CatBoost则在处理大规模数据和复杂任务时表现优异。通过了解这些算法的原理和特点，我们可以更好地选择合适的模型来解决实际问题。

1. 导入必要的库

首先，我们需要导入一些必要的库，这些库将帮助我们进行数据处理、模型训练和评估。

import modin.pandas as pd  # 导入 Modin 的 pandas 库，以支持大规模数据处理
import numpy as np  # 导入 NumPy 库，用于数值计算
from sklearn.model_selection import train_test_split  # 导入用于划分训练集和测试集的函数
from sklearn.metrics import classification_report, accuracy_score, precision_score, recall_score, f1_score  # 导入评估指标
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier, AdaBoostClassifier  # 导入集成学习分类器
from sklearn.linear_model import LogisticRegression  # 导入逻辑回归分类器
from sklearn.tree import DecisionTreeClassifier  # 导入决策树分类器
from sklearn.neighbors import KNeighborsClassifier  # 导入K最近邻分类器
from sklearn.naive_bayes import GaussianNB  # 导入高斯朴素贝叶斯分类器
from sklearn.svm import SVC  # 导入支持向量机分类器
from xgboost import XGBClassifier  # 导入XGBoost分类器
from lightgbm import LGBMClassifier  # 导入LightGBM分类器
from catboost import CatBoostClassifier  # 导入CatBoost分类器
from imblearn.over_sampling import SMOTE  # 导入SMOTE，用于处理不平衡数据
from sklearn.preprocessing import FunctionTransformer  # 导入函数变换器，用于特征变换

2. 加载数据集

接下来，我们将加载我们的数据集。请确保将文件路径替换为您实际的文件路径。

# 加载数据集
csv_path = r"D:\sikkim_glof_filtered_data.csv"  # 数据集的文件路径
df = pd.read_csv(csv_path)  # 读取CSV文件到DataFrame中

3. 数据预处理

在数据预处理阶段，我们将选择相关特征、处理缺失值，并准备特征和目标变量。

# 选择用于风险预测的相关特征
features = ['Lake_Area_km2', 'Mean_Elevation_m', 'Mean_Slope_deg']  # 特征列表
target = 'Flood_Occurrence'  # 目标变量

# 删除缺失值
df = df.dropna(subset=features + [target])  # 删除包含缺失值的行

# 准备特征（X）和目标（y）
X = df[features]  # 特征数据
y = (df[target] > 0.05).astype(int)  # 将目标变量转换为二进制分类，高风险（1）如果洪水发生概率大于0.05

3.1 添加交互项

为了捕捉特征之间的关系，我们将添加交互项。

# 添加交互项以捕捉特征之间的关系
X['Area_Elevation_Interaction'] = X['Lake_Area_km2'] * X['Mean_Elevation_m']  # 湖面面积与平均海拔的交互项
X['Area_Slope_Interaction'] = X['Lake_Area_km2'] * X['Mean_Slope_deg']  # 湖面面积与平均坡度的交互项

3.2 对偏态特征进行对数变换

我们将对一些偏态特征进行对数变换，以使其更符合正态分布。

# 对偏态特征进行对数变换
transformer = FunctionTransformer(np.log1p, validate=True)  # 创建对数变换的转换器
X[['Lake_Area_km2', 'Mean_Elevation_m']] = transformer.transform(X[['Lake_Area_km2', 'Mean_Elevation_m']])  # 应用对数变换

3.3 使用 SMOTE 处理不平衡数据

我们将使用 SMOTE 方法生成平衡的数据集。

# 使用SMOTE处理不平衡数据
smote = SMOTE(random_state=42)  # 创建SMOTE对象
X_resampled, y_resampled = smote.fit_resample(X, y)  # 生成平衡的数据集

3.4 归一化特征值

我们将对特征值进行标准化，以提高模型的表现。

# 归一化特征值
X_normalized = (X_resampled - X_resampled.mean()) / X_resampled.std()  # 标准化特征值

4. 划分训练集和测试集

我们将数据集划分为训练集和测试集，80% 用于训练，20% 用于测试。

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_normalized, y_resampled, test_size=0.2, random_state=42, stratify=y_resampled)  # 划分数据集

5. 定义分类器

在这一阶段，我们定义多个分类器，包括逻辑回归、随机森林、XGBoost 等。

# 定义分类器
classifiers = {
    'Logistic Regression': LogisticRegression(max_iter=1000, class_weight='balanced', random_state=42),  # 逻辑回归分类器
    'Random Forest': RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42),  # 随机森林分类器
    'Gradient Boosting': GradientBoostingClassifier(n_estimators=100, random_state=42),  # 梯度提升分类器
    'XGBoost': XGBClassifier(use_label_encoder=False, eval_metric='logloss', random_state=42),  # XGBoost分类器
    'LightGBM': LGBMClassifier(random_state=42),  # LightGBM分类器
    'CatBoost': CatBoostClassifier(verbose=0, random_state=42),  # CatBoost分类器
    'KNN': KNeighborsClassifier(n_neighbors=5),  # K最近邻分类器
    'SVM': SVC(kernel='rbf', probability=True, random_state=42),  # 支持向量机分类器
    'Naive Bayes': GaussianNB(),  # 高斯朴素贝叶斯分类器
    'Decision Tree': DecisionTreeClassifier(class_weight='balanced', random_state=42),  # 决策树分类器
    'AdaBoost': AdaBoostClassifier(n_estimators=100, random_state=42)  # AdaBoost分类器
}

6. 评估和存储结果

我们将训练每个分类器，并计算评估指标（准确率、精确率、召回率和 F1 分数）。

# 评估并存储结果
results = []  # 存储结果的列表

# 遍历每个分类器进行训练和评估
for clf_name, clf in classifiers.items():
    print(f"Training and evaluating: {clf_name}")  # 输出当前正在训练和评估的分类器名称
    clf.fit(X_train, y_train)  # 训练分类器
    y_pred = clf.predict(X_test)  # 预测测试集结果
    
    # 计算评估指标
    acc = accuracy_score(y_test, y_pred)  # 计算准确率
    precision = precision_score(y_test, y_pred)  # 计算精确率
    recall = recall_score(y_test, y_pred)  # 计算召回率
    f1 = f1_score(y_test, y_pred)  # 计算F1分数
    
    # 将结果附加到结果列表中
    results.append({
        'Classifier': clf_name,  # 分类器名称
        'Accuracy': acc,  # 准确率
        'Precision': precision,  # 精确率
        'Recall': recall,  # 召回率
        'F1-Score': f1  # F1分数
    })

7. 保存结果到 Excel

最后，我们将结果保存到 Excel 文件中，以便后续分析。

# 将结果转换为DataFrame
results_df = pd.DataFrame(results)  # 将结果列表转换为DataFrame

# 将结果保存到Excel文件
excel_path = "Classifier_Comparison_Results.xlsx"  # Excel文件路径
results_df.to_excel(excel_path, index=False)  # 保存DataFrame到Excel文件，不包含索引
print(f"Results saved to {excel_path}.")  # 输出结果保存的文件路径

结论

通过以上步骤，我们成功地使用多种机器学习分类器分析了锡金地区的洪水风险。每个分类器的表现可以通过计算的评估指标进行比较。这些结果不仅有助于理解不同模型的优缺点，还为未来的研究提供了数据支持。

全部代码

import modin.pandas as pd  # 导入 Modin 的 pandas 库，以支持大规模数据处理
import numpy as np  # 导入 NumPy 库，用于数值计算
from sklearn.model_selection import train_test_split  # 导入用于划分训练集和测试集的函数
from sklearn.metrics import classification_report, accuracy_score, precision_score, recall_score, f1_score  # 导入评估指标
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier, AdaBoostClassifier  # 导入集成学习分类器
from sklearn.linear_model import LogisticRegression  # 导入逻辑回归分类器
from sklearn.tree import DecisionTreeClassifier  # 导入决策树分类器
from sklearn.neighbors import KNeighborsClassifier  # 导入K最近邻分类器
from sklearn.naive_bayes import GaussianNB  # 导入高斯朴素贝叶斯分类器
from sklearn.svm import SVC  # 导入支持向量机分类器
from xgboost import XGBClassifier  # 导入XGBoost分类器
from lightgbm import LGBMClassifier  # 导入LightGBM分类器
from catboost import CatBoostClassifier  # 导入CatBoost分类器
from imblearn.over_sampling import SMOTE  # 导入SMOTE，用于处理不平衡数据
from sklearn.preprocessing import FunctionTransformer  # 导入函数变换器，用于特征变换

# Step 1: 加载数据集
csv_path = r"D:\sikkim_glof_filtered_data.csv"  # 数据集的文件路径
df = pd.read_csv(csv_path)  # 读取CSV文件到DataFrame中

# Step 2: 数据预处理
# 选择用于风险预测的相关特征
features = ['Lake_Area_km2', 'Mean_Elevation_m', 'Mean_Slope_deg']  # 特征列表
target = 'Flood_Occurrence'  # 目标变量

# 删除缺失值
df = df.dropna(subset=features + [target])  # 删除包含缺失值的行

# 准备特征（X）和目标（y）
X = df[features]  # 特征数据
y = (df[target] > 0.05).astype(int)  # 将目标变量转换为二进制分类，高风险（1）如果洪水发生概率大于0.05

# 添加交互项以捕捉特征之间的关系
X['Area_Elevation_Interaction'] = X['Lake_Area_km2'] * X['Mean_Elevation_m']  # 湖面面积与平均海拔的交互项
X['Area_Slope_Interaction'] = X['Lake_Area_km2'] * X['Mean_Slope_deg']  # 湖面面积与平均坡度的交互项

# 对偏态特征进行对数变换
transformer = FunctionTransformer(np.log1p, validate=True)  # 创建对数变换的转换器
X[['Lake_Area_km2', 'Mean_Elevation_m']] = transformer.transform(X[['Lake_Area_km2', 'Mean_Elevation_m']])  # 应用对数变换

# 使用SMOTE处理不平衡数据
smote = SMOTE(random_state=42)  # 创建SMOTE对象
X_resampled, y_resampled = smote.fit_resample(X, y)  # 生成平衡的数据集

# 归一化特征值
X_normalized = (X_resampled - X_resampled.mean()) / X_resampled.std()  # 标准化特征值

# Step 3: 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_normalized, y_resampled, test_size=0.2, random_state=42, stratify=y_resampled)  # 划分数据集，20%为测试集

# Step 4: 定义分类器
classifiers = {
    'Logistic Regression': LogisticRegression(max_iter=1000, class_weight='balanced', random_state=42),  # 逻辑回归分类器
    'Random Forest': RandomForestClassifier(n_estimators=100, class_weight='balanced', random_state=42),  # 随机森林分类器
    'Gradient Boosting': GradientBoostingClassifier(n_estimators=100, random_state=42),  # 梯度提升分类器
    'XGBoost': XGBClassifier(use_label_encoder=False, eval_metric='logloss', random_state=42),  # XGBoost分类器
    'LightGBM': LGBMClassifier(random_state=42),  # LightGBM分类器
    'CatBoost': CatBoostClassifier(verbose=0, random_state=42),  # CatBoost分类器
    'KNN': KNeighborsClassifier(n_neighbors=5),  # K最近邻分类器
    'SVM': SVC(kernel='rbf', probability=True, random_state=42),  # 支持向量机分类器
    'Naive Bayes': GaussianNB(),  # 高斯朴素贝叶斯分类器
    'Decision Tree': DecisionTreeClassifier(class_weight='balanced', random_state=42),  # 决策树分类器
    'AdaBoost': AdaBoostClassifier(n_estimators=100, random_state=42)  # AdaBoost分类器
}

# Step 5: 评估并存储结果
results = []  # 存储结果的列表

# 遍历每个分类器进行训练和评估
for clf_name, clf in classifiers.items():
    print(f"Training and evaluating: {clf_name}")  # 输出当前正在训练和评估的分类器名称
    clf.fit(X_train, y_train)  # 训练分类器
    y_pred = clf.predict(X_test)  # 预测测试集结果
    
    # 计算评估指标
    acc = accuracy_score(y_test, y_pred)  # 计算准确率
    precision = precision_score(y_test, y_pred)  # 计算精确率
    recall = recall_score(y_test, y_pred)  # 计算召回率
    f1 = f1_score(y_test, y_pred)  # 计算F1分数
    
    # 将结果附加到结果列表中
    results.append({
        'Classifier': clf_name,  # 分类器名称
        'Accuracy': acc,  # 准确率
        'Precision': precision,  # 精确率
        'Recall': recall,  # 召回率
        'F1-Score': f1  # F1分数
    })

# 将结果转换为DataFrame
results_df = pd.DataFrame(results)  # 将结果列表转换为DataFrame

# 将结果保存到Excel文件
excel_path = "Classifier_Comparison_Results.xlsx"  # Excel文件路径
results_df.to_excel(excel_path, index=False)  # 保存DataFrame到Excel文件，不包含索引
print(f"Results saved to {excel_path}.")  # 输出结果保存的文件路径

代码说明

导入库：首先导入所需的库，包括数据处理、模型训练和评估的相关库。
加载数据集：指定数据集的路径并读取到 DataFrame 中。
数据预处理：
选择特征和目标变量。
删除缺失值。
准备特征和目标变量，并创建交互项。
对偏态特征进行对数变换。
使用 SMOTE 处理不平衡数据。
对特征值进行标准化。
划分数据集：将数据集划分为训练集和测试集，20% 用于测试。
定义分类器：创建多个分类器的实例。
评估和存储结果：训练每个分类器，计算评估指标，并将结果存储到列表中，最后将结果保存到 Excel 文件。

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

此星光明

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值