打卡第14天

SHAP图介绍

参考帖子：SHAP 可视化解释机器学习模型简介_shap图-CSDN博客

今日作业偏思考类型，有一定难度

参考上述文档补全剩余的几个图
尝试确定一下shap各个绘图函数对于每一个参数的尺寸要求，如shap.force_plot力图中的数据需要满足什么形状？
确定分类问题和回归问题的数据如何才能满足尺寸，分类采取信贷数据集，回归采取单车数据集。
SHAP图介绍
目标：理解复杂机器学习模型（尤其是“黑箱”模型，如随机森林、梯度提升树、神经网络等）为什么会对特定输入做出特定预测。 SHAP 提供了一种统一的方法来解释模型的输出。
        直白来说：它不止告诉我预测结果是什么，而是告诉我每个特征（输入）对这个结果贡献了多少

核心思想：合作博弈论中的Shapley值。

        什么是Shapley值？举例ABCD四个人参加比赛赢了奖金，想按照每个人的贡献，公平分配这笔奖金。为解决这个问题，Shapley值的做法是尝试所有可能的组合，在不同的合作组合里，每个人的“边际贡献”是多少。比如没有A时赢了50元，有A时赢了80元。那就可以认为你在这个组合里贡献了30元。把所有这样的组合考虑一遍并求平均，即可得A的“公平贡献值”。

        回到机器学习任务，例如预测房价，假设你的模型预测一套房子价值是 100万，而整个训练数据的平均预测值是 70万。那 SHAP 的目标就是回答：到底是哪几个特征，把预测值从“平均值 70 万”提高到了现在的 100 万？

        结果可能是：特征1地段好，SHAP值+15万，特征2房子大+30万，特征3房子老-15万，最后得出基准值70万+所有特征贡献之和30万=100万

# 经典机器学习中的SHAP可解释分析

import pandas as pd
import pandas as pd  # 用于数据处理和分析，可处理表格数据。
import numpy as np  # 用于数值计算，提供了高效的数组操作。
import matplotlib.pyplot as plt  # 用于绘制各种类型的图表
import seaborn as sns  # 基于matplotlib的高级绘图库，能绘制更美观的统计图形。
import warnings
 
warnings.filterwarnings("ignore")
 
# 设置中文字体（解决中文显示问题）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号
data = pd.read_csv('D:\桌面\研究项目\打卡文件\python60-days-challenge-master\data.csv')  # 读取数据
 
# 先筛选字符串变量
discrete_features = data.select_dtypes(include=['object']).columns.tolist()
# Home Ownership 标签编码
home_ownership_mapping = {
    'Own Home': 1,
    'Rent': 2,
    'Have Mortgage': 3,
    'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)
 
# Years in current job 标签编码
years_in_job_mapping = {
    '< 1 year': 1,
    '1 year': 2,
    '2 years': 3,
    '3 years': 4,
    '4 years': 5,
    '5 years': 6,
    '6 years': 7,
    '7 years': 8,
    '8 years': 9,
    '9 years': 10,
    '10+ years': 11
}
data['Years in current job'] = data['Years in current job'].map(years_in_job_mapping)
 
# Purpose 独热编码，记得需要将bool类型转换为数值
data = pd.get_dummies(data, columns=['Purpose'])
data2 = pd.read_csv("D:\桌面\研究项目\打卡文件\python60-days-challenge-master\data.csv")  # 重新读取数据，用来做列名对比
list_final = []  # 新建一个空列表，用于存放独热编码后新增的特征名
for i in data.columns:
    if i not in data2.columns:
        list_final.append(i)  # 这里打印出来的就是独热编码后的特征名
for i in list_final:
    data[i] = data[i].astype(int)  # 这里的i就是独热编码后的特征名
 
# Term 0 - 1 映射
term_mapping = {
    'Short Term': 0,
    'Long Term': 1
}
data['Term'] = data['Term'].map(term_mapping)
data.rename(columns={'Term': 'Long Term'}, inplace=True)  # 重命名列
continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()  # 把筛选出来的列名转换成列表
 
# 连续特征用中位数补全
for feature in continuous_features:
    mode_value = data[feature].mode()[0]  # 获取该列的众数。
    data[feature].fillna(mode_value, inplace=True)  # 用众数填充该列的缺失值，inplace=True表示直接在原数据上修改。

 
# 最开始也说了 很多调参函数自带交叉验证，甚至是必选的参数，你如果想要不交叉反而实现起来会麻烦很多
# 所以这里我们还是只划分一次数据集

from sklearn.model_selection import train_test_split
 
X = data.drop(['Credit Default'], axis=1)  # 特征，axis=1表示按列删除
y = data['Credit Default']  # 标签
# 按照8:2划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)  # 80%训练集，20%测试集
 
from sklearn.ensemble import RandomForestClassifier #随机森林分类器
 
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score # 用于评估分类器性能的指标
from sklearn.metrics import classification_report, confusion_matrix #用于生成分类报告和混淆矩阵
import warnings #用于忽略警告信息
warnings.filterwarnings("ignore") # 忽略所有警告信息
# --- 1. 默认参数的随机森林 ---
# 评估基准模型，这里确实不需要验证集
print("--- 1. 默认参数随机森林 (训练集 -> 测试集) ---")
import time # 这里介绍一个新的库，time库，主要用于时间相关的操作，因为调参需要很长时间，记录下会帮助后人知道大概的时长
start_time = time.time() # 记录开始时间
rf_model = RandomForestClassifier(random_state=42)
rf_model.fit(X_train, y_train) # 在训练集上训练
rf_pred = rf_model.predict(X_test) # 在测试集上预测
end_time = time.time() # 记录结束时间
 
print(f"训练与预测耗时: {end_time - start_time:.4f} 秒")
print("\n默认随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred))
print("默认随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred))
 
import shap
import matplotlib.pyplot as plt
 
# 初始化 SHAP 解释器
explainer = shap.TreeExplainer(rf_model)
 
# 计算 SHAP 值（基于测试集），这个shap_values是一个numpy数组，表示每个特征对每个样本的贡献值
# 这里大家先知道这是个numpy数组即可，我们后面学习完numpy在来回头解读这个值
shap_values = explainer.shap_values(X_test) # 这个计算耗时
print(shap_values)
#print("shap_values shape:", shap_values.shape)
print("shap_values[0] shape:", shap_values[0].shape)
#print("shap_values[:, :, 0] shape:", shap_values[:, :, 0].shape)
print("X_test shape:", X_test.shape)
 
# --- 1. SHAP 特征重要性条形图 (Summary Plot - Bar) ---
print("--- 1. SHAP 特征重要性条形图 ---")
shap.summary_plot(shap_values[0], X_test, plot_type="bar",show=False)  #  这里的show=False表示不直接显示图形,这样可以继续用plt来修改元素，不然就直接输出了
plt.title("SHAP Feature Importance (Bar Plot)")
plt.show()
# --- 2. SHAP 特征重要性蜂巢图 (Summary Plot - Violin) ---
print("--- 2. SHAP 特征重要性蜂巢图 ---")
shap.summary_plot(shap_values[0], X_test,plot_type="violin",show=False,max_display=10) # 这里的show=False表示不直接显示图形,这样可以继续用plt来修改元素，不然就直接输出了
plt.title("SHAP Feature Importance (Violin Plot)")
plt.show()
# 注意下上面几个参数，plot_type可以是bar和violin，max_display表示显示前多少个特征，默认是20个
print("--- 3. SHAP 特征重要性dependence plot ---")
shap.dependence_plot('Years in current job',shap_values[0], X_test,show=False) # 这里的show=False表示不直接显示图形,这样可以继续用plt来修改元素，不然就直接输出了
plt.title("SHAP Feature Importance (dependence plot)")
plt.show()

 @浙大疏锦行