机器学习：集成算法

一、Bagging和Boosting

1.Bagging
1）样本有放回选取
2）样本权重相同
3）所有分类器的权重相等
4）并行
5）减小方差，因为每个弱分类器的偏差差不多，但是多个弱分类器集成时，为了防止过拟合，进行样本抽样和特征抽样，增加了多样性。
2.Boosting
1）使用全部样本
2）根据错误率不断调整样例的权值，错误率越大则权重越大
3）每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
4）串行，因为后一个模型参数需要前一轮模型的结果。
5）减小偏差，因为每一次都在不断修正上一个弱分类器的错误，不断逼近正确结果。

二、随机森林

1.bagging思想+特征随机抽样
2.分类预测用“投票法”；回归预测用“平均法”
三、GBDT
四、XGBoost
五、Lightgbm