关于随机森林的介绍,可见本博客中http://blog.csdn.net/u014755493/article/details/70168009
首先提出两个指标,特征重要性和分类精确度。
一.特征重要性
对于随机森林中的一颗决策树,其训练数据集是使用Bagging方法得到的,即套袋法,还有大约1/3的袋外数据我们可以用它进行特征重要性的度量,假设针对某个特征X,我们利用套袋法建立了一颗决策树T,然后用T对袋外数据TOOB进行分类检测,得到其正确分类的个数XT,然后对袋外数据的特征X进行“随机扰乱”,对特征X的取值赋予随机取的新数值,这时再用T对袋外数据TOOB'进行分类检测,得到正确分类数XT',这时对于T来说,特征X的重要性D=|XT' - XT|,我们对随机森林中共N颗决策树做相同操作,可以得到N个特征X的重要性,取其均值作为X的重要性度量,即D(X) = (D1+D2+......+DN)/N,其中Di = |XT'i - XTi|(i=1,2,3,....,N)。
总结下来,判断一个属性重要不重要,还是判断其值的改变对结果的影响程度。