xgboost和随机森林特征重要性计算方法

随机森林中特征重要性和xgboost不同：

随机森林中的特征重要性主要是基于不纯度（也可以叫做Gini importance）：

计算某一个节点不纯度为

其中，${\omega }_k$,${\omega }_{left}$,${\omega }_{right}$分别为节点 k以及其左右子节点中训练样本个数与总训练样本数目的比例，$G_k$,$G_{left}$,$G_{right}$分为为节点 k 以及其左右子节点的不纯度。
节点不纯度计算完成后，计算某个Feature的不纯度为

另外，为了使所有feature的重要性加起来等于1，需要每一feature的重要性进行normalization：

对于分类问题的话，就是gini不纯度
对于回归问题的话，MSE(Mean Square error)或者MAE(Mean absolute error)

sklearn中的解释
sklearn源码

参考文章：
https://blog.csdn.net/gracejpw/article/details/102611273
https://zhuanlan.zhihu.com/p/52052903
https://mljar.com/blog/feature-importance-in-random-forest/