shap 解释理赔时效模型特征

最新推荐文章于 2024-05-16 11:09:42 发布

wjzeroooooo

最新推荐文章于 2024-05-16 11:09:42 发布

阅读量1.8k

点赞数 4

分类专栏： Python 文章标签： python 机器学习

本文链接：https://blog.csdn.net/weixin_46685991/article/details/125183210

版权

Python 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

前言

一、分析背景

二、数据概览

三、数据建模

四、 shap

  1. 特征输出

  2. 正负影响

  3. PDP 部分依赖图

  4.  单个特征与目标变量之间的关系，取1000个样本观察对目标值的影响

  5. 单样本解析

  6.  LIME局部可解释模型不可知解释

总结

前言

本人是在保险公司从事车险反欺诈工作，对数据分析和挖掘比较感兴趣，最近在学习到shap时，觉得它对模型特征的解释非常不错，就用它试了试自己弄的理赔时效模型，并简单写下自己对这种事后解释方法的理解，不足之处，还望海涵。

一、分析背景

随着费改的进行，保险公司的保费相比以前有显著下降，承保环节的压力也越来越大，车险理赔在保险公司的竞争中的作用越发重要，理赔做得好，客户满意度就会提高，则续保率也会提高，对公司的发展有着正面作用，而理赔时效作为车险理赔环节中的重要一环，有着很重要的作用，理赔时效过长也会导致客户的投诉及流失，同时理赔时效过长也会导致公司未决案件的积累，未决案件估损金额的偏差也会影响公司的经营策略，所以基于上述目的，对案件理赔时效进行建模预测，通过归因分析对模型特征进行解释，找出原因，提高客户满意度，减少客户流失，减少长期未决案件。

二、数据概览

本案例选取的是半年纯车物数据（共44450条），不含人伤数据，结合工作经验经过特征选取及处理后，部分展示如上，出于公司数据保密性，原始数据就不予展示，其中预测目标变量从样本平衡考虑，选择了以7天为界做二分类处理。

三、数据建模

模型选用XGBOOST，用了以下函数，由于本案例主要是对模型进行解释，所以没有对模型预测结果做过多的调参、数据降维等的处理。

import pandas as pd
import numpy as np
from xgboost import XGBClassifier,plot_importance
from sklearn.metrics import accuracy_score, auc, roc_curve,classification_report
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

AUC：0.8

四、 shap

1. 特征输出

shap.summary_plot(shap_values, X, plot_type="bar")

a.支付金额特征重要性最高，这个与xgboost自带的feature importance输出的最重要特征一致，但其他特征顺序有区别。

b.与feature importance相比，SHAP value最大的优势是SHAP能对于反映出每一个样本中的特征的影响力，而且还表现出影响的正负性。

2. 正负影响

shap.summary_plot(shap_values, X)

shap值随着支付金额的增加而增大，两者具有较强的正向线性关系，因此较大的支付金额必然导致较长的理赔周期。

3. PDP 部分依赖图

shap.dependence_plot('支付金额', shap_values, X, interaction_index='支付金额')

上图可以大致看出当支付金额增加时，目标变量趋于稳定，即超过7天

4. 单个特征与目标变量之间的关系，取1000个样本观察对目标值的影响

shap.force_plot(explainer.expected_value, shap_values[0:1000], X[0:1000], plot_cmap="DrDb", feature_names=x[0])

从上图看出当支付金额>9843时，将Y值由基准值-0.54提高到1.45，并趋于稳定，就是说支付金额超过1万，大概率支付周期会大于7天。

5. 单样本解析

shap.force_plot(explainer.expected_value, shap_values[48,:],X.iloc[48,:],x[0],matplotlib=True)

取第48个样本特征分析：

使用性质及是否公司车的正向影响（红色部分长度）大于支付金额及是否存在物损的负向影响（蓝色部分长度）。

特征解释为：交强险、支付2000、营业货车、无物损，结合理赔经验判断可能是多车事故，所以预测周期大概率会大于7天，对比原始数据，该样本结案周期为13天。

6. LIME局部可解释模型不可知解释

explainer = LimeTabularExplainer(x_test.values, feature_names = col,class_names = class_names, mode = 'classification')
explaination = explainer.explain_instance(x_test.iloc[1],model.predict_proba)
explaination.show_in_notebook(show_table = True, show_all = False)