机器学习笔记14-随机森林算法

最新推荐文章于 2023-08-10 15:25:34 发布

Tobesix

最新推荐文章于 2023-08-10 15:25:34 发布

阅读量1k

点赞数 1

分类专栏：机器学习篇文章标签：机器学习

本文链接：https://blog.csdn.net/intricate_/article/details/105711787

版权

机器学习篇专栏收录该内容

21 篇文章 7 订阅

订阅专栏

随机森林

算法原理（bagging）：

随机且有放回地从训练集中的抽取N个训练样本，数据集的样本总数为N，根据这N个样本建立一个决策树，重复上述步骤n次，建立n棵决策树（每棵树的训练集都是不同的，而且里面包含重复的训练样本）
从数据集中随机选择k个特征，共m个特征（其中k<=m），根据这k个特征建立决策树，重复上述步骤n次，建立n棵决策树
对每棵决策树传递变量来预测结果，最后得到n个预测结果
计算每个预测结果的得票数，得票数高的预测结果作为随机森林算法的最终预测结果

针对回归问题，随机森林把所有决策树预测值的平均值作为最终预测结果。而针对分类问题，随机森林中的每棵决策树都会给出一种分类，得票数最多的那一类将作为最终的预测结果。

随机森林分类效果（错误率）与两个因素有关：

森林中任意两棵树的相关性：相关性越大，错误率越大；
森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错误率越低

减小特征选择个数m，树的相关性和分类能力也会相应的降低；增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或者是范围），这也是随机森林唯一的一个参数。

袋外抽样：

上面我们提到，构建随机森林的关键问题就是如何选择最优的m，优秀的树需要优秀的特征，那我们就需要知道各个特征的重要程度。在构建每棵树时，我们对训练集使用了不同的bootstrap sample（随机且有放回地抽取）。所以对于每棵树而言（假设对于第k棵树），大约有1/3的训练实例没有参与第k棵树的生成，它们称为第k棵树的袋外样本。我们可以使用这部分样本来评估特征的优劣。

对于每一棵树都有个m特征，要知道某个特征在这个树中是否起到了作用，可以随机改变这个特征的值，使得这棵树中有没有这个特征都无所谓，之后比较改变前后的测试集误差率，误差率的差距作为该特征在该树中的重要程度，测试集即为该树抽取样本之后剩余的样本(袋外样本)(由袋外样本做测试集造成的误差称为袋外误差)。

在一棵树中对于每个特征都计算一次，就可以算出每个特征在该树中的重要程度。我们可以计算出所有树中的特征在各自树中的重要程度。但这只能代表这些特征在树中的重要程度不能代表特征在整个森林中的重要程度。我们取这个特征值在多棵树中的重要程度的均值即为该特征在森林中的重要程度。如下式：

$MDA(A_{i})=\frac{1}{ntree}\sum_{t=1}^{ntree}(errOOB_{t1}-errOOB_{t2})$

其中 ntree 表示特征 $A_{i}$ 在森林中出现的次数。 $errOOB_{t1}$ 表示第 t 棵树中 $A_{i}$ 属性值改变之后的袋外误差， $errOOB_{t2}$ 表示第 t 棵树中正常 $A_{i}$ 值的袋外误差。按照上面的步骤迭代多次，逐步去除相对较差的特征，每次都会生成新的森林，直到剩余的特征数为 m 为止。预测出所有所有样本的结果之后与真实值进行比较，就可以得到这个森林的套外误差率。选择套外误差率最小的森林作为最终的随机森林模型，即本文的第一张图。