决策树与随机森林理论与实现(二)
决策树理论方面内容:决策树与随机森林理论与实现(一)
随机森林
集成学习
将多个能力较弱的个体学习器结合为一个集成学习器,以提高学习器的泛化性能
- 分为同质;异质
- 同质:所有个体学习器均属于同一类学习器,个体学习器称为基学习器
- 异质:个体学习器之间中了不同
- 个体学习器的要求
- 准确性较高,不同个体之间具有差异
- 由于个体学习器之间不可能互相独立,因此个体学习器的准确性与多样性是互相制约的
Bagging
并行的集成学习方法
通过不同的训练集,能够生成不同的个体学习器。但如果每个基学习器的训练集完全不同,则每个学习器只能使用一小部分样本,使得学习器的准确性下降。因此,考虑使用互相重叠的样本子集。
- 样本子集的生成方面,采用自助取样法(bootstrap sampling)。从m个样本集中进行m次有放回取样,生成采样集。初始样本集中有63.2%的样本出现在采样集中。
lim x → ∞ ( 1 − 1 m ) m = 1 e ≈ 0.368 \lim_{x\to\infty}(1-\frac1{m})^m=\frac1e\approx0.368 x→∞lim(1−m1)m=e1≈0.368 - 个体学习器的集成方面,分类任务采用简单投票法,采用多数学习器认定的分类结果。
- 初始样本集中剩余的36.8%,在记录每个基学习器的训练样本的基础上,可以作为测试集,或辅助剪枝的操作。
随机森林
- 以决策树作为个体学习器
- Bagging集成基础上的扩展变种,Bagging仅考虑样本集合的扰动,随机森林中加入属性集合的扰动。
- 在含有d个属性的集合中选取k个属性作为子集进行决策树生成。推荐值 k = log 2 d k=\log_2d k=log2d