随机森林模型是通过集成多个决策树来减少过拟合，采用Bootstrap采样技术确保每棵树训练在不同样本上，调整max_features参数控制特征选择，以实现多样性。在sklearn库中，RandomForestClassifier提供了相关API。该模型具有防止过拟合的优点，但需注意设置max_features以避免决策树相似度过高导致集成效果减弱。
随机森林模型是集成模型的一种，它是由众多决策树集成得到的。
背景
当我们使用决策树模型的时候，会很容易发现它是易于过拟合的，对于决策树的过拟合有很多处理方法，譬如各种剪枝技术，而集成技术同样能够处理这一问题。我们通过集成技术生成各种不同的决策树，并综合考虑它们的预测结果，这样能够减少过拟合的出现机率。所以我认为训练随机森林模型的关键就在于如何产生不同形态的决策树。
Bootstrap采样
为了产生多种多样的决策树模型，我们会对数据进行采样，这样我们选用了Bootstrap采样技术，假设有n个样本可供训练，我们通过bootstrap技术对训练集进行n次采样，每次都从训练集中选择一个样本记录下索引并放回到训练集，这样我们最终得到的训练单颗决策树的模型也有n个样本，但是可能会有重复的样本存在，这样就保证了训练每颗决策树的数据集是不同的，从而产生不同形态的决策树。
Max_features
在训练时我们通过控制max_features参数来指定决策树只能选定部分特征进行划分数据集，
max_features = 1: 在每一层划分节点都是随机选择一个特征进行划分，这样就会生成很复杂的决策树，同时会使得各个决策树是不同的；
<
最低0.47元/天 解锁文章
1069
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
