集成树模型的可解释性

机器学习模型相比于统计模型，显著的劣势是其可解释性。做回归时，统计模型有系数有P-value，机器学习却只能谈精度——但若论精度，统计模型折腾来折腾去，还是玩不过机器学习的。

但人们对机器学习模型的可解析性并没有放弃，并一直在努力进行改进。树模型便是其中的佼佼者。集成树中，最出名的当属Random Forest（RF）和Gradient boosting trees（GBM），后者也是近年来大火的XGB的根基。而解释集成树模型的两大利器：Feature importance和Partial dependence，则成了树模型的炫耀资本——高精度+快速+可解析性。

新的特征重要值的评价方法： permutation importances  （ impurity-based feature importances can be misleading for high cardinality features (many unique values). 因此可以使用permutation importances 替换.

从下图可以看出二者结果存在差异：