本文探讨了随机森林在特征选择中如何衡量特征重要性，主要通过不纯度的减少（如Gini系数）和袋外误差率来评估。在不纯度减少中，计算特征在所有决策树节点分裂时Gini指数的平均改变量。袋外误差率利用袋外样本计算分类错误率，通过对比特征改变前后的误差来判断特征的重要性。具体步骤包括计算袋外数据误差并对比随机改变特征后的误差变化，以此识别重要特征。
在构建随机森林的过程中，每一颗树所使用的数据不同，这使得每一颗树上的特征重要性表现的都不同。所以要评估每个特征在每棵树上的重要度来作为特征选择的依据。
随机森林衡量特征重要度的方法主要有两种，分别是Gini系数，和袋外误差率。
不纯度的减少（sklearn中使用）
随机森林的不纯度常用gini /entropy /information gain测量，以Gini系数为例：
将特征重要性评分（feature importance measures）用VIM表示，计算每个特征的Gini指数评分，即第j个特征在RF所有决策树中节点分裂不纯度的平均改变量。
Gini系数的计算公式如下，k代表有k个类别，Pmk表示k的样本权重。
特征xj在结点m的重要度，定义为在结点m分支前后，Gini指数的变化量。
VIMjm(Gini)=GIm-GIl-GIr
其中GIl，GIr表示结点m分枝后左右结点的Gini系数。
袋外误差率
- 袋外样本
随机决策树生成过程使用的是Boostrap
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
