随机森林是一种集成学习方法，通过构建多棵决策树并结合其预测结果来提高分类或回归的准确性。本文介绍了随机森林的构建过程，包括bootstraped数据集的生成、单棵决策树的构造以及如何用森林进行预测。同时，讨论了在训练集和验证集中处理缺失值的方法，并强调了评估森林性能的重要性。
前言
随机森林源于决策树 如果对决策树不了解的可以看看这篇: 如何构建一棵决策树
决策树的局限
决策树的构建要利用大量的数据，但是当用这个构建好的决策树来对一批新的数据进行分类时，决策树并不能灵活地处理这些新数据
随机森林综合了决策树简洁的特征，同时又具备灵活性，因此随机森林在精确性方面也得到了极大的提高
构造随机森林
第一步:构建bootstraped数据集
大小与原始数据集的一致 且允许样本重复出现多次(有放回的抽取) 下面的3和4就是重复的
第二步:构造单棵森林中的树
使用刚刚创建的boostraped数据集 随机选取几个特征 这里我们选了这两个 然后计算Gini系数确定哪个作为根节点
特征被用了以后就不能再用了 然后同样的从剩下的特征随机选部分来构造剩下的树(就是在构造决策树啦) 这里选择了Chest Pain和Weight
总结一
最低0.47元/天 解锁文章
1863
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
