scikit-learn决策树算法中特征重要性的计算

sklearn.tree.DicisionTreeClassifier类中的feature_importances_属性返回的是特征的重要性,feature_importances_越高代表特征越重要,scikit-learn官方文档1中的解释如下:

The importance of a feature is computed as the (normalized) total reduction of the criterion brought by that feature. It is also known as the Gini importance.

这是说,树的构建中,每个特征我们都会计算一个它的criterion(基尼指数2或者信息熵3),特征重要性就是这个criterion减少量的归一化值。在scikit-learn中的默认实现也就是我们常说的Gini importance

stackover上的帖子4中答主Seljuk Gülcan指出如果每个特征只被使用一次,那么feature_importances_应当就是这个Gini importance

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

其中,N是样本的总数,N_t是当前节点的样本数目,N_t_L是结点左孩子的样本数目,N_t_R是结点右孩子的样本数目。impurity直译为不纯度(基尼指数或信息熵),这里的实现的是基尼指数。
举个例子,下面的决策树

from StringIO import StringIO

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree.export import export_graphviz
from sklearn.feature_selection import mutual_info_classif

X = [[1,0,0], [0,0,0], [0,0,1], [0,1,0]]

y = [1,0,1,1]

clf = DecisionTreeClassifier()
clf.fit(X, y)

feat_importance = clf.tree_.compute_feature_importances(normalize=False)
print("feat importance = " + str(feat_importance))

out = StringIO()
out = export_graphviz(clf, out_file='test/tree.dot')

最后的输出结果为:

feat importance = [0.25       0.08333333 0.04166667]

该决策树的图示如下:
上面代码对应的决策树图示
对于X[2]特征,

feature_importance = (4 / 4) * (0.375 - (3 / 4 * 0.444)) = 0.042

对于X[1]特征,

feature_importance = (3 / 4) * (0.444 - (2 / 3 * 0.5)) = 0.083

对于X[0]特征,

feature_importance = (2 / 4) * (0.5) = 0.25

与输出结果是吻合的。


  1. scikit-learn官方文档 ↩︎

  2. Entropy(p)=k=1Kpklog2pkEntropy(p)=-\displaystyle\sum_{k=1}^Kp_k\log_2p_k ↩︎

  3. Gini(p)=k=1Kpk(1pk)=1k=1Kpk2Gini(p)=\displaystyle\sum_{k=1}^Kp_k(1-p_k)=1-\displaystyle\sum_{k=1}^Kp_k^2 ↩︎

  4. stackover上的帖子 ↩︎

发布了1 篇原创文章 · 获赞 0 · 访问量 3438
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览