Bagging
![Bagging](https://i-blog.csdnimg.cn/blog_migrate/fb6ef066c097eb4c1b47c07d10cc0085.png)
随机森林
随机森林=决策树+Bagging
Boosting
![Boosting](https://i-blog.csdnimg.cn/blog_migrate/7498e2b22584391699b22166f3233438.png)
adaboost
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/06dedb1d924ad63f0b38f1f91c7def7b.png)
GBDT
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/334f0a73bf4cb981698c1a4b64fbe93f.png)
XGBoost
xgboost选择使用CART树来做回归而不是其他决策树,由于CART树的叶结点对应的值是一个实际的分数,而不是一个明确的类别,这有利于高效的优化算法。
XGBoost原理还是GBDT思想。XGBoost的创新点如下:
1 损失函数加入了正则项
2 目标函数不好算,用二阶泰勒公式进行了展开
3 树的划分标准变了
求树ft,就是求T(叶子结点个数)和wj(每个叶子结点的值)
随着树变深,损失函数本身应该越来越小,[损失下降]越大。
树的划分标准变了,变成了[损失下降]。