XGBoost模型构建+SHAP解析-Python代码——用XGBoost模型实现机器学习并进行黑箱过程解析

已于 2024-07-16 12:40:12 修改
阅读量711 收藏 7
点赞数 14
文章标签： python 机器学习 开发语言
于 2024-07-16 12:38:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41698317/article/details/140460642
版权

一、XGBoost模型简介

1.1适用范围

XGBoost（Extreme Gradient Boosting）是一个基于梯度提升（Gradient Boosting）框架的增强算法，广泛应用于分类、回归、排序等任务。常见的应用包括：

  • 信用风险评估
  • 销售预测
  • 病毒检测
  • 图像识别

1.2原理

XGBoost是梯度提升树（Gradient Boosted Decision Trees, GBDT）的改进版本。GBDT通过构建多个弱学习器（通常是决策树），每个新的树都在前一个树的基础上进行改进，从而形成一个强大的预测模型。XGBoost进一步在GBDT的基础上进行了优化，包括加速训练、支持正则化、自动处理缺失值等。

其基本步骤为：

  1. 初始化模型，通常是通过预测所有样本的平均值。
  2. 计算当前模型的残差，即真实值与预测值之间的差异。
  3. 基于残差训练一个新的弱学习器，并将其加入到模型中。
  4. 重复步骤2和3，直到达到预定的树数量或误差下降到一定程度。

1.3优点

  1. 高效性：XGBoost采用了多种优化技术，使得训练速度快，计算资源利用高效。
  2. 准确性：通过加权投票和正则化技术，显著提高了模型的预测准确性和泛化能力。
  3. 灵活性：支持多种目标函数和评估指标，适用于分类、回归等任务。
  4. 自动处理缺失值：在训练过程中自动处理缺失值，无需额外处理。
  5. 特征重要性分析：提供了特征重要性分析的功能，帮助理解模型的决策过程。

1.4缺点

  1. 参数调优复杂：XGBoost有较多的超参数，调参过程可能比较复杂，需要较多经验。
  2. 容易过拟合：在小数据集上容易过拟合，需要适当的正则化。
  3. 计算资源需求高：对计算资源的需求较高，训练大规模数据时可能需要分布式计算。

二、XGBoost模型的Python实现

以下是一个完整的XGBoost模型的Python代码示例，包含数据加载、预处理、模型训练和评估的详细注释。

2.1安装XGBoost

首先，需要安装XGBoost库：

pip install xgboost

2.2代码示例

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix, roc_auc_score, roc_curve
import xgboost as xgb
import matplotlib.pyplot as plt
import seaborn as sns

# 生成示例数据
from sklearn.datasets import make_classification

# 生成二分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 将数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 转换为XGBoost的DMatrix格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置XGBoost参数
params = {
    'objective': 'binary:logistic',
    'max_depth': 5,
    'eta': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'eval_metric': 'logloss'
}

# 训练XGBoost模型
num_rounds = 10
bst = xgb.train(params, dtrain, num_rounds)

# 进行预测
y_pred_proba = bst.predict(dtest)
y_pred = (y_pred_proba > 0.5).astype(int)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
roc_auc = roc_auc_score(y_test, y_pred_proba)
conf_matrix = confusion_matrix(y_test, y_pred)

print(f"Accuracy: {accuracy}")
print(f"Precision: {precision}")
print(f"Recall: {recall}")
print(f"F1 Score: {f1}")
print(f"ROC AUC Score: {roc_auc}")
print("Confusion Matrix:")
print(conf_matrix)

# 绘制混淆矩阵图
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=['Predicted 0', 'Predicted 1'], yticklabels=['Actual 0', 'Actual 1'])
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()

# 绘制ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

# 特征重要性
xgb.plot_importance(bst)
plt.title('Feature Importance')
plt.show()

2.3代码说明

  1. 数据生成和分割：

    • 使用 make_classification 生成一个二分类数据集，包含1000个样本和20个特征。
    • 使用 train_test_split 将数据集划分为训练集和测试集，测试集比例为30%。

  2. 转换数据格式：

    • 将训练集和测试集转换为XGBoost的DMatrix格式。

  3. 设置参数：

    • 设置XGBoost模型的参数，包括目标函数、树的最大深度、学习率、子样本比例、特征采样比例和评估指标。

  4. 训练模型：

    • 使用 xgb.train 训练XGBoost模型，指定训练集、参数和轮数。

  5. 预测和评估：

    • 对测试集进行预测，计算预测概率和预测结果。
    • 评估模型的准确率、精确率、召回率、F1得分和ROC AUC得分，输出混淆矩阵。
    • 绘制混淆矩阵图和ROC曲线图。

  6. 特征重要性：

    • 使用 xgb.plot_importance 绘制特征重要性图，帮助理解哪些特征对模型的预测结果影响最大。

三、用XGBoost模型实现机器学习案例

下面是一个完整的可运行XGBoost案例，包括数据生成、模型训练、预测及评估的过程。我们将使用scikit-learn的模拟数据，并展示运行结果。

3.1案例主要代码

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix, roc_auc_score, roc_curve
import xgboost as xgb
import matplotlib.pyplot as plt
import seaborn as sns

# 生成示例数据
from sklearn.datasets import make_classification

# 生成二分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 将数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 转换为XGBoost的DMatrix格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置XGBoost参数
params = {
    'objective': 'binary:logistic',
    'max_depth': 5,
    'eta': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'eval_metric': 'logloss'
}

# 训练XGBoost模型，迭代次数减少到10次
num_rounds = 10
bst = xgb.train(params, dtrain, num_rounds)

# 进行预测
y_pred_proba = bst.predict(dtest)
y_pred = (y_pred_proba > 0.5).astype(int)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
roc_auc = roc_auc_score(y_test, y_pred_proba)
conf_matrix = confusion_matrix(y_test, y_pred)

# 打印评估结果
evaluation_results = {
    "Accuracy": accuracy,
    "Precision": precision,
    "Recall": recall,
    "F1 Score": f1,
    "ROC AUC Score": roc_auc,
    "Confusion Matrix": conf_matrix
}

# 绘制混淆矩阵图
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=['Predicted 0', 'Predicted 1'], yticklabels=['Actual 0', 'Actual 1'])
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()

# 绘制ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

# 特征重要性
xgb.plot_importance(bst)
plt.title('Feature Importance')
plt.show()

evaluation_results

3.2模型评价 

1.模型准确性评价

Result
{'Accuracy': 0.8666666666666667,
 'Precision': 0.896551724137931,
 'Recall': 0.8387096774193549,
 'F1 Score': 0.8666666666666666,
 'ROC AUC Score': 0.9342602892102336,
 'Confusion Matrix': array([[130,  15],
        [ 25, 130]])}

以下是XGBoost模型的评估结果：

  • Accuracy（准确率）: 0.867
  • Precision（精确率）: 0.897
  • Recall（召回率）: 0.839
  • F1 Score: 0.867
  • ROC AUC Score: 0.934
  • Confusion Matrix（混淆矩阵）:
[[130  15]
 [ 25 130]]

2.混淆矩阵图绘制详细代码

# 绘制混淆矩阵图
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=['Predicted 0', 'Predicted 1'], yticklabels=['Actual 0', 'Actual 1'])
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()

3.ROC曲线图详细代码

# 绘制ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()

4.特征重要性详细代码

# 特征重要性
xgb.plot_importance(bst)
plt.title('Feature Importance')
plt.show()

四、使用SHAP进行变量间关系解析

为了进行SHAP解析，首先需要安装SHAP库，然后可以对训练好的XGBoost模型进行解释。以下是详细的步骤和代码：

4.1安装SHAP

如果尚未安装SHAP库，可以使用以下命令进行安装：

pip install shap

4.2使用SHAP进行解析

以下是详细的Python代码示例，展示如何使用SHAP对XGBoost模型进行解析：

4.2.1导入必要的库
import shap
import xgboost as xgb
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix, roc_auc_score, roc_curve
import matplotlib.pyplot as plt
import seaborn as sns
4.2.2生成示例数据
# 生成示例数据
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)
4.2.3进行数据预处理
# 将数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 转换为XGBoost的DMatrix格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)
4.2.4构建XGBoost模型
# 设置XGBoost参数
params = {
    'objective': 'binary:logistic',
    'max_depth': 5,
    'eta': 0.1,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'eval_metric': 'logloss'
}

# 训练XGBoost模型，迭代次数为10次
num_rounds = 10
bst = xgb.train(params, dtrain, num_rounds)

# 进行预测
y_pred_proba = bst.predict(dtest)
y_pred = (y_pred_proba > 0.5).astype(int)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
roc_auc = roc_auc_score(y_test, y_pred_proba)
conf_matrix = confusion_matrix(y_test, y_pred)

# 打印评估结果
evaluation_results = {
    "Accuracy": accuracy,
    "Precision": precision,
    "Recall": recall,
    "F1 Score": f1,
    "ROC AUC Score": roc_auc,
    "Confusion Matrix": conf_matrix
}
4.2.5绘制混淆矩阵、ROC曲线、特征重要性图
# 绘制混淆矩阵图
plt.figure(figsize=(8, 6))
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=['Predicted 0', 'Predicted 1'], yticklabels=['Actual 0', 'Actual 1'])
plt.title('Confusion Matrix')
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.show()
# 绘制ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_pred_proba)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()
# 特征重要性
xgb.plot_importance(bst)
plt.title('Feature Importance')
plt.show()
4.2.6 SHAP解析
# SHAP解析
explainer = shap.TreeExplainer(bst)
shap_values = explainer.shap_values(X_test)
（1） 绘制SHAP值摘要图
# 绘制SHAP值摘要图
shap.summary_plot(shap_values, X_test)

SHAP值摘要图输出结果如下：

（2）绘制SHAP值力图
# 绘制SHAP值力图（以第一个样本为例）
shap.initjs()
shap.force_plot(explainer.expected_value, shap_values[0,:], X_test[0,:])

SHAP值力图输出结果如下：

（3）进行双因素交互分析——绘制特征交互作用图
# 计算交互值
shap_interaction_values = explainer.shap_interaction_values(X_test)
# 绘制特征交互作用图（以第一个特征和第二个特征为例）
shap.dependence_plot((0, 1), shap_interaction_values, X_test)

特征交互作用图输出结果如下：

# 绘制特征交互作用力图（以第一个样本为例）
shap.force_plot(explainer.expected_value, shap_interaction_values[0], X_test[0])

特征交互作用力图（以第一个样本为例）输出结果如下：

4.2.7SHAP解析代码说明

  1. 计算交互值：

    • 使用 explainer.shap_interaction_values 计算交互值。

  2. 绘制特征交互作用图：

    • 使用 shap.dependence_plot 绘制两个特征之间的交互作用图。你可以替换 (0, 1) 为任何两个特征的索引来查看不同特征之间的交互作用。

  3. 绘制交互作用力图：

    • 使用 shap.force_plot 绘制单个样本的交互作用力图。你可以替换 [0] 为任何一个样本的索引来查看不同样本的交互作用。

通过这些图表，可以更直观地理解两个特征之间的相互作用对模型预测的影响。

写代码的老教授
关注
  • 14
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习模型的解释-SHAP
weixin_41851055的博客
05-18 1万+
数据监控SHAP值 SHAP值 SHAP值基于Shapley值，Shapley值是博弈论中的一个概念。SHAP所做的是量化每个特征对模型所做预测的贡献。 对于所有的特征上图可以自由组合共有2^3=8种可能（数学中称为power set即幂集）。SHAP需要为幂集中的每个不同的组合训练一个不同的预测模型，这意味着有8个模型。当然，这些模型在涉及到它们的超参数和训练数据时是完全等价的。唯一改变的是模型中包含的一组特征。 假设上图是已经用相同训练样本训练了8个线性回归的模型。我们可以用这8个模型分别对一个测试样
Python-可解释机器学习相关资源大列表
08-11
这是由Arik Cohen-Or创建的一个在线教程，其中包含了许多Python代码示例，介绍如何实现和理解可解释的机器学习模型。 4. **Tree Interpreter** 对于基于树的模型（如随机森林和梯度提升机），Tree Interpreter...
利用SHAP解释Xgboost模型
qq_45531594的博客
10-08 9843
Xgboost相对于线性模型在进行预测时往往有更好的精度，但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。 2017年，Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型（分类以及回归），其中最大的受益者莫过于之前难以被理解的黑箱模型，如xgboost和神经网络模型。 本教程中，我们在真实数据集上进行实操，利用SHAP来解释Xgboost模型。 预计学习用时：30分钟。 本教程基于Python 3.6版本、Xgboost 0.82版本以及shap 0
10个最频繁用于解释机器学习模型的 Python 库
Python数据挖掘
03-13 2217
XAI，Explainable AI是指可以为人工智能（AI）决策过程和预测提供清晰易懂的解释的系统或策略。XAI 的目标是为他们的行为和决策提供有意义的解释，这有助于增加信任、提供问责制和模型决策的透明度。XAI 不仅限于解释，还以一种使推理更容易为用户提取和解释的方式进行 ML 实验。在实践中，XAI 可以通过多种方法实现，例如使用特征重要性度量、可视化技术，或者通过构建本质上可解释的模型，例如决策树或线性回归模型。方法的选择取决于所解决问题的类型和所需的可解释性水平。
机器学习模型可解释性进行到底 ——PDP&ICE图（三）
热门推荐
素质云笔记
04-13 1万+
之前两篇有专门介绍shap值，可以说非常好用， 机器学习模型可解释性进行到底 —— 从SHAP值到预测概率（二） 机器学习模型可解释性进行到底 —— SHAP值理论（一） 文章目录1 部分依赖图（Partial Dependence Plot)1.1 理论解读1.2 如何根据PDP 进行特征筛选2 个体条件期望图（Individual Conditional Expectation Plot)3 sklearn 0.24+实现：PDP&ICE图3.1 部分依赖图（Partial Dependen
Python库 | shap-0.27.0-cp37-cp37m-win_amd64.whl
03-24
总结来说，"shap"库是Python中一个强大的机器学习模型解释工具，它提供了丰富的功能和可视化方法，有助于提升模型的可解释性，对于开发人员和研究人员来说，是深入理解复杂模型预测行为的得力助手。
Python库 | shap-0.13.2.tar.gz
03-10
总之，`SHAP`库是Python中一个强大的模型解释工具，它为机器学习模型提供了直观、全面的解释能力，使得模型不仅具备预测能力，也具有了可解释性，这对于理解和优化模型至关重要。无论是数据科学家还是业务人员，都能...
机器学习模型：实践项目
02-14
在本实践项目中，我们将深入探索机器学习模型的构建与应用。"机器学习模型：实践项目"是一个旨在帮助你理解并掌握如何运用机器学习技术解决实际问题的综合学习资源。项目可能涵盖从数据预处理、特征工程、模型选择到...
【持续集成_05课_Linux部署SonarQube及结合开发项目部署】
weixin_42333261的博客
07-12 219
前置条件：sonarQube不能使用root账号进行启动，所以需要创建普通用户及。3）CMD上传qube文件-不能传到home路径下哦。2）添加用户、组名、密码。4）检查并解压上传的包。
Nginx七层（应用层）反向代理：UWSGI代理uwsgi_pass篇
jclee95的个人博客
07-10 1105
Nginx提供了多种应用层反向代理支持，包括proxy_pass、uwsgi_pass、fastcgi_pass和scgi_pass等。其中，proxy_pass指令可以接受一个URL参数，用于实现对HTTP/HTTPS协议的反向代理；uwsgi_pass用于代理到uWSGI应用服务器；fastcgi_pass用于代理到FastCGI服务器；而scgi_pass则用于代理到SCGI（Simple Common Gateway Interface）应用。这些指令使Nginx能够灵活地处理不同类型的后端服务和应
java集合工具类
药的博客
07-12 435
【代码】java集合工具类。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 859
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
CV06_Canny边缘检测算法和python实现
https://github.com/foxpup11?tab=repositories
07-11 861
https://www.bilibili.com/video/BV1qU4y1U7aK/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
httpx 的使用
最新发布
qq_39217312的博客
07-15 492
httpx 是一个可以支持 HTTP/2.0 的库还有一个是： hyper 库这里有一个由HTTP/2.0的网站： https://spa16.scrape.center/使用 requests 库 进行爬取 报错：安装： httpx pip3 install httpx 这样安装并不能支持 HTTP/2.0如果想要支持，需要这样安装：pip3 install httpx[http2]输出：这里访问的HTTP/1.0的网站，并且依次打印除了 ， 响应状态码(status_code),响应头信息(header
Gradio从入门到精通（1）---快速入门
疯狂飙车的蜗牛的博客
07-15 551
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
sklearn基础教程：掌握机器学习入门的钥匙
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-13 870
是基于Python的一个开源机器学习库，它建立在NumPy、SciPy和matplotlib之上，提供了大量的算法和工具，用于数据挖掘和数据分析。无论是简单的线性回归，还是复杂的神经网络，sklearn都能提供直观易用的接口。作为Python中最为流行的机器学习库之一，以其简洁的API、丰富的算法和强大的功能赢得了广大用户的青睐。通过本文的介绍，相信你已经对sklearn有了初步的了解，并能够开始进行一些基础的机器学习任务。
【python学习】闭包的定义与特点，以及一些常用场景的使用
m0_49243785的博客
07-11 1033
闭包是一个函数，闭包让你可以在一个内层函数中访问其外层函数的作用域，可以使用闭包进行模块化代码和封装代码的操作，从而提高效率。
使用Gunicorn提高Web应用的多核并发处理能力
2401_85639015的博客
07-11 941
Gunicorn 是一个基于pre-fork worker模型的WSGI服务器。它能够处理多个工作进程，每个进程可以处理多个请求，这使得它非常适合处理并发请求。兼容性强：支持多种Web框架，如Django、Flask、Pyramid等。高性能：基于pre-fork worker模型，能充分利用多核CPU。易于配置：提供了多种配置方式，包括命令行参数、配置文件和环境变量。稳定性：在生产环境中广泛使用，经过了大量的实践检验。
KNN+SHAP的python代码
05-15
KNN和SHAP是两个不同的机器学习算法，它们可以结合使用来进行分类或回归任务，其中KNN是一种监督学习算法，SHAP是一种解释机器学习模型的算法。以下是结合KNN和SHAP进行分类的Python代码示例： ``` # 导入需要的库 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier import shap # 加载数据集 data = pd.read_csv('data.csv') # 划分训练集和测试集 X = data.drop('target', axis=1) y = data['target'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 训练KNN分类器 knn = KNeighborsClassifier() knn.fit(X_train, y_train) # 解释模型 explainer = shap.KernelExplainer(knn.predict_proba, X_train) shap_values = explainer.shap_values(X_test) # 打印解释结果 shap.summary_plot(shap_values, X_test) ``` 上述代码中，首先我们导入需要的库，然后加载数据集并划分训练集和测试集。接下来，我们使用sklearn库中的KNeighborsClassifier类训练一个KNN分类器，并使用shap库中的KernelExplainer类解释该模型。最后，我们打印出解释结果，使用shap_values变量中的SHAP值生成一个特征重要性图表。 如果你需要进行回归任务，可以将KNeighborsClassifier类替换为KNeighborsRegressor类，并将分类器的predict_proba方法替换为predict方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值