一、Bagging和Boosting
1.Bagging
1)样本有放回选取
2)样本权重相同
3)所有分类器的权重相等
4)并行
5)减小方差,因为每个弱分类器的偏差差不多,但是多个弱分类器集成时,为了防止过拟合,进行样本抽样和特征抽样,增加了多样性。
2.Boosting
1)使用全部样本
2)根据错误率不断调整样例的权值,错误率越大则权重越大
3)每个弱分类器都有相应的权重,对于分类误差小的分类器会有更大的权重
4)串行,因为后一个模型参数需要前一轮模型的结果。
5)减小偏差,因为每一次都在不断修正上一个弱分类器的错误,不断逼近正确结果。
二、随机森林
1.bagging思想+特征随机抽样
2.分类预测用“投票法”;回归预测用“平均法”
三、GBDT
四、XGBoost
五、Lightgbm