机器学习笔记
随机森林(来自周志华老师的机器学习)
随机森林
(Random
Forest
,简称
RF)
[Breiman
,
2001a]
Baggi
ng的一个扩展变体.
RF在以决策树为基学习器构建 Bagging 集成的基础上,进一步在决策树的训练过程中引入了随机属性选择.具体来说,传统决策树在选择划分属性时是在当前结点的属性集合(假定有 d个属性)中选择一个最优属性;而在RF 中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属
性的
子集,然后再
从这个子集
中选择一个最优属
性用于
划分.
这里
参数k
控制了随
机性的引入
程度
;若令 k
=d,则
基决策树的构建与
传统决策树相同;
若令 k
=1
则是随机选择一
个属性用于
划分,一
般情况下,推荐值