本文主要是对随机森林的复习,把随机森林知识结构化,温故而知新~
1、分类过程
样本采样方法:Bagging
1、Bagging过程(Bootstrapping集成)
- 有放回的随机抽样
2、Voting过程(每个基学习器进行投票)
- 针对回归:每个基学习器预测结果进行平均
- 针对分类:每个基学习器预测结果进行投票,得票数最多的类为预测类
随机森林的随机性
1、样本的随机性(Bagging): 在Bagging时, 随机选择样本
2、特征的随机性(Random subspace): 在训练时,随机选取一部分特征,每一轮得到的树几乎都是由N个不同的特征构成的,每棵树都不一样,增大差异性
3、随机特征组合(Random combination): 在林轩田机器学习技法中, 提到了一种随机特征组合的方法。在每次分支中,将现有特征x,乘上一个数组p,进行线性组合构造新的特征:
ϕ i ( x ) = p i T x \phi_i(x) = p_i^Tx ϕi(x)=piTx
这种方法使每次分支得到的不再是单一的子特征集合,而是子特征的线性组合(权重不为1)。好比在二维平面上不止得到水平线和垂直线,也能得到各种斜线。值得注意的是,不同分支i下的 p i p_i pi 是不同的,而且向量 p i p_i p<