随机森林(Random forest)的理解和复习

本文主要是对随机森林的复习，把随机森林知识结构化，温故而知新~

1、分类过程

样本采样方法：Bagging

1、Bagging过程（Bootstrapping集成）

• 有放回的随机抽样

2、Voting过程（每个基学习器进行投票）

• 针对回归：每个基学习器预测结果进行平均
• 针对分类：每个基学习器预测结果进行投票，得票数最多的类为预测类

随机森林的随机性

1、样本的随机性（Bagging）: 在Bagging时, 随机选择样本

2、特征的随机性（Random subspace）: 在训练时，随机选取一部分特征，每一轮得到的树几乎都是由N个不同的特征构成的，每棵树都不一样，增大差异性

3、随机特征组合（Random combination）: 在林轩田机器学习技法中, 提到了一种随机特征组合的方法。在每次分支中，将现有特征x，乘上一个数组p，进行线性组合构造新的特征：

$${\varphi }_i(x)=p_i^{T}x$$

这种方法使每次分支得到的不再是单一的子特征集合，而是子特征的线性组合（权重不为1）。好比在二维平面上不止得到水平线和垂直线，也能得到各种斜线。值得注意的是，不同分支i下的 $p_i$ 是不同的，而且向量 $p<$