kaggle数据集_Kaggle心脏病数据集冠军Kernel的可解释性技巧

Kaggle心脏病数据集冠军Kernel作者Rob Harrand，除了使用常见的python库，numpy、 pandas、 matplotlib、sklearn外还使用了 seaborn、eli5、shap、pdpbox、Ipython。

下面是原网址：

https://www.kaggle.com/tentotheminus9/what-causes-heart-disease-explaining-the-model

一. 下面简单介绍一下这几个工具：

seaborn ： 统计数据可视化

Seaborn是基于matplotlib的Python数据可视化库。它提供了用于绘制引人入胜且内容丰富的统计图形的高级界面。

http://seaborn.pydata.org/

ELI5 ：帮助调试机器学习分类器并解释它们的预测

允许解释scikit-learn 线性分类器和回归变量的权重和预测，将决策树打印为文本或SVG，显示特征重要性，并解释决策树和基于树的集成体的预测。eli5 可用于文本处理，可以相应地突出显示文本数据。支持 Pipeline 和 FeatureUnion。它还可以通过撤消散列来调试包含HashingVectorizer 的 scikit学习管道。

https://pypi.org/project/eli5/

SHAP：Python的可解释机器学习库

（Pycharm 不能正常显示力线图）

参考： https://zhuanlan.zhihu.com/p/83412330

SHAP是Python开发的一个"模型解释"包，可以解释任何机器学习模型的输出。其名称来源于SHapley Additive exPlanation，在合作博弈论的启发下SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”。对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。

假设第i个样本为xi，第i个样本的第j个特征为xi_j，模型对该样本的预测值为yi，整个模型的基线（通常是所有样本的目标变量的均值）为y_base，那么SHAP value服从以下等式：

其中f(x_ij)为x_ij的SHAP值。直观上看，f(xi,1)就是第i个样本中第1个特征对最终预测值yi的贡献值，当f(xi,1)>0，说明该特征提升了预测值，也正向作用；反之，说明该特征使得预测值降低，有反作用。

传统的feature importance只告诉哪个特征重要，但我们并不清楚该特征是怎样影响预测结果的。SHAP value最大的优势是SHAP能对于反映出每一个样本中的特征的影响力，而且还表现出影响的正负性。

PDPbox ： 可视化某些功能对任何监督学习算法的模型预测的影响。

（现在支持所有scikit-learn算法）

参考：https://swift.ctolib.com/SauceCat-PDPbox.html

1. 辅助功能用于可视化目标分布和预测分布。

2. 处理一键编码功能的正确方法。

3. 解决功能之间复杂的相互依赖性的解决方案。

4. 支持多分类器。

5. 支持两个变量交互的局部依赖图。

Ipython ： ipython是一个python的交互式shell

支持变量自动补全，自动缩进，支持bash shell命令，内置了许多很有用的功能和函数。学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。

二. 看下Kaggle心脏病数据集冠军Kernel的作者Rob Harrand是怎么使用这些工具来解释模型的：

先看看他引入的库的哪部分：

sho

为了方便看出数据中每一列所代表的意思：重新命名一下列的名称：

数据中出现多选项的列（如chest_pain_type，可取0， 1，2，3，4 (Value 1: 典型心绞痛, Value 2: 非典型心绞痛, Value 3: 无心绞痛, Value 4: 无症状的 )）时，将这样的列先解耦，生成多个列，这些列里取值只能是0或1

作者使用了随机森林模型来预测样本：

上面说了一堆都是为了下面的做铺垫，重点来了：

随机森林可视化：

#code from https://towardsdatascience.com/how-to-visualize-a-decision-tree-from-a-random-forest-in-python-using-scikit-learn-38ad2d75f21c

export_graphviz(estimator, out_file='tree.dot',

feature_names = feature_names,

class_names = y_train_str,

rounded = True, proportion = True,

label='root',

precision = 2, filled = True)

from subprocess import call

call(['dot', '-Tpng', 'tree.dot', '-o', 'tree.png', '-Gdpi=600'])

from IPython.display import Image

Image(filename = 'tree.png')

计算混淆矩阵：

y_predict = model.predict(X_test)

y_pred_quant = model.predict_proba(X_test)[:, 1]

y_pred_bin = model.predict(X_test)

confusion_matrix = confusion_matrix(y_test, y_pred_bin)

confusion_matrix

ROC：

total=sum(sum(confusion_matrix))

sensitivity = confusion_matrix[0,0]/(confusion_matrix[0,0]+confusion_matrix[1,0])

print('Sensitivity : ', sensitivity )

specificity = confusion_matrix[1,1]/(confusion_matrix[1,1]+confusion_matrix[0,1])

print('Specificity : ', specificity)

fpr, tpr, thresholds = roc_curve(y_test, y_pred_quant)

fig, ax = plt.subplots()

ax.plot(fpr, tpr)

ax.plot([0, 1], [0, 1], transform=ax.transAxes, ls="--", c=".3")

plt.xlim([0.0, 1.0])

plt.ylim([0.0, 1.0])

plt.rcParams['font.size'] = 12

plt.title('ROC curve for diabetes classifier')

plt.xlabel('False Positive Rate (1 - Specificity)')

plt.ylabel('True Positive Rate (Sensitivity)')

plt.grid(True)

AUC：

auc(fpr, tpr)

可以看出用随机森林模型预测这个心脏病数据集准确率还是相当高的。但它是否符合现实中人们的预判呢？常识告诉我们：肥胖，体内胆固醇高，高血压 可能得心脏病的概率更大，那么再来看下这个模型是不是也得出这样的结论呢？

使用ELI5的PermutationImportance来测试各列对应的变量对结果的影响大小，也就是对结果的重要性：

所以，就排列而言，似乎最重要的因素是“可逆转的缺陷”导致的thalessemia。“达到最大心率”类型的重要性是有意义的，因为这是病人在检查时的直接的、主观的状态(相对于，比如说，年龄，这是一个更普遍的因素)。

让我们使用部分相关图来仔细查看主要vessles的数量(在这里了解更多信息)。这些图在一个值范围内改变一行中的单个变量，并查看它对结果的影响。它对几行这样做，并绘制平均效果。让我们来看看'num_major_vessel '变量，它位于排列重要性列表的顶部。

使用 PDPbox 来画出指定变量的值变化对结果的影响：

PDPbox画出两个变量同时变化对结果的影响：

使用SHAP来画出：每个变量对结果的平均影响图：

或者是这样的图：

Shap 画某个样本的力线图：（那些特征的值起到正作用，哪些起到副作用）

下面查看其中两个样本（两个人）的各个属性对结果的影响。哪些属性让他看起来更可能得心脏病，哪些属性又让他看起来不可能得心脏病。

力线的另一种画法：