机器学习| 面试题:06、随机森林为什么不容易过拟合

随机森林通过随机选取样本和属性,降低过拟合风险。每棵树的训练样本随机抽样,节点划分时从有限属性中选最优。评估特征重要性常用信息增益、增益率和基尼指数。随着树数量增加,随机森林泛化误差减小,不易过拟合。
摘要由CSDN通过智能技术生成

问题

随机森林算法思想,怎么增加随机性,如何评估特征重要性,为什么不容易过拟合

随机森林思想怎么添加的随机性

随机森林 (RF) 是 Bagging 的一个变体。RF在以决策树为基学习器构建 Bagging 集成的基础上,进一步在决策树的训练过程中引入随机性:

传统决策树在选择划分属性时,是在当前结点的属性集合(假定有 d 个属性)中选择一个最优属性;而在 RF 中,对基决策树的每一个结点,先从结点的属性集合中随机选择一个包含 k 个属性的子集,然后再从这个子集当中选择一个最优属性用于划分。

这里的参数 k 控制了随机性的引入程度。若令 k = d k=d

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mrrunsen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值