2020-09-28

集成学习方式：

1.bagging并行-（RF随机森林）

1）从原始样本中抽一部分样本作为训练集。每轮从原始样本中使用Boostraping有放回抽取n个样本，共进行k轮抽取，得到k个训练集。

2）每次使用一个训练集得到一个模型，共得到k个模型。将k个模型采用投票方式得到分类结果；对回归问题，计算上述模型的均值作为回归结果。

每次大约有三分之一的数据不被抽到，作为测试集。

基模型-同质/强分类器。

多个模型的平均来避免过拟合。

bagging：样本随机

随机森林：样本随机、特征随机

RF优点：大样本速度优势、泛化能力强、对部分特征缺失不敏感

RF缺点：对噪音较大易过拟合，但可用有些方法降噪、可解释性较决策树弱

2.boosting串行-（GBDT/Adaboost/XGBOOST）

3.stacking框架：结合上两种