随机森林特征重要性度量

使用随机森林度量特征重要性的方法在此介绍两种：

1. 通过基尼指数计算节点的不纯度衡量特征重要性
   在节点t使用属性a作为划分属性，估计属于不同类的概率，使用p(k|t)，k=1,…,Q表示，基尼指数的定义为：
   
   Q是样本种类数。在使用属性Xj作为划分属性时，计算划分之前与划分之后的基尼指数（表示不确定性程度）之差，使用表示，表示平均减少基尼指数。
2. 通过袋外数据的误差OOB（out-of-bag）衡量特征重要性