用随机森林做特征选择

关于随机森林的介绍，可见本博客中http://blog.csdn.net/u014755493/article/details/70168009

首先提出两个指标，特征重要性和分类精确度。

一.特征重要性

对于随机森林中的一颗决策树，其训练数据集是使用Bagging方法得到的，即套袋法，还有大约1/3的袋外数据我们可以用它进行特征重要性的度量，假设针对某个特征X，我们利用套袋法建立了一颗决策树T，然后用T对袋外数据TOOB进行分类检测，得到其正确分类的个数XT，然后对袋外数据的特征X进行“随机扰乱”，对特征X的取值赋予随机取的新数值，这时再用T对袋外数据TOOB'进行分类检测，得到正确分类数XT'，这时对于T来说，特征X的重要性D=|XT' - XT|，我们对随机森林中共N颗决策树做相同操作，可以得到N个特征X的重要性，取其均值作为X的重要性度量，即D(X) = (D1+D2+......+DN)/N,其中Di = |XT'i - XTi|(i=1,2,3,....,N)。

总结下来，判断一个属性重要不重要，还是判断其值的改变对结果的影响程度。