【数据挖掘】【笔记】之sklearn.ensemble

ensemble methods

组合几个不同的模型结果以增强泛化能力和鲁棒性。

• In averaging methods, 原则是建立几个独立的模型，对结果取均值，可以降低方差（取均值可降低方差的原因：平均可以平滑曲线）

  Examples: Bagging methods, Forests of randomized trees, …

• By contrast, in boosting methods, 基础模型相继建立，后续模型建立的标准是降低上一模型的偏差。是一系列弱学习器的组合，

  Examples: AdaBoost, Gradient Tree Boosting, …

bagging meta-estimator

一组算法在随机生成的子数据集中训练并产生预测，然后把单独的预测组合成最后的预测。用来降低基础模型的方差。

bagging强且复杂的模型效果明显，相反的boosting适合处理弱学习器。

bagging主要依照划分训练集的方法分类：
- 随机划分数据集：Pasting
- 有放回的划分样本：Bagging
- 依照特征的随机划分：Subspaces
- 随机的样本和特征划分：Random Patches

• max_samples和max_features（依据样本和特征）控制子数据集的大小。