决策树系列（二）：随机森林(random forest)

最新推荐文章于 2024-10-03 20:30:15 发布

lanyuelvyun

最新推荐文章于 2024-10-03 20:30:15 发布

阅读量1.7k

点赞数

分类专栏：机器学习 # 决策树

本文链接：https://blog.csdn.net/lanyuelvyun/article/details/81222575

版权

随机森林是一种集成学习算法，基于bagging思想，通过构建多棵决策树并取平均（回归）或多数投票（分类）来预测结果。每个决策树在构建时对样本和特征进行随机抽样，避免过拟合。它具有高准确率、处理高维数据、评估特征重要性等优点。特征重要性可通过Variable importance（特征被分割的总次数）和Gini importance（分割的总增益之和）进行衡量。

摘要由CSDN通过智能技术生成

随机森林，属于集成算法bagging的一种，关于什么是bagging看这里决策树系列（一）：集成学习(ensemble learning)->boosting与bagging的区别

1、简单原理以及特点

1）随机森林，属于集成算法bagging的一种，由多个基分类器组合而成，最终的预测结果是多个基分类器结果的平均值（回归问题）/众数（分类问题）。
2）各个基分类器之间相互独立，使用的基分类器是CART，CART是分类回归树，既可以用来分类，也可以用来进行回归。CART用作回归树时用平方误差最小化作为选择特征的准则，用作分类树时采用基尼指数最小化原则（该原则不关心具体的特征值，只跟特征的分布有关，百度一下gini指数的计算公式就能明白），进行特征选择，递归地生成二叉树。
3）在生成每一棵树的时候，都随机从原样本集中有放回的进行采样（自主采样），生成一个子集。并且也随机从M个特征里面挑选m(m小于M)个特征，用这些样本和特征训练该决策树。随机选样本，随机选特征。
4）每棵树都尽最大程度的生长，并且没有剪枝过程。这个不必担心过拟合的问题，因为在构建每一棵树时，用于训练的样本是原样本集的子集，特征也是原特征的子集，让该树无限生长，虽然会导致该树过拟合，但是也只是在该子集上过拟合，而不是在原样本集上过拟合。随机森林会有若