11.集成学习和随机森林

Soft Voting投票时有权值，更合理。

Bagging and Pasting：

放回取样：Bagging（也叫bootstrap）

不放回取样：Pasting

使模型产生差异化：

针对特征进行随机采样：Random Subspaces

既针对样本数量，又针对特征进行随机采样： Random Patches

使用决策树进行集成学习的方式也叫随机森林。

Extra-Trees:

决策树在节点划分上，使用随机的特征和随机的阈值，因此随机性更强。抑制过拟合（抑制了方差），但增大了偏差bias。训练速度更快。

Boosting:

集成多个模型，每个模型都在尝试增强（boosting）整体的效果。

Ada Boosting通过每次增加未预测成功的点的权值，生成新的子模型。

Stacking：

更复杂的Stacking模型：