·@TOC
一、提升
1.提升的概念
2.提升算法
3.梯度提升决策树-GBDT
1)提升算法推导-梯度提升法![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e1f4fe589b7bf0fbb3af1139f6223e9d.png)
2)GBDT(GradientBoostingDecisionTree) 梯度提升迭代决策树
4.XGBT推导
1)提升算法推导-考虑使用二阶导信息
在以上基础上,计算
2)决策树结构的划分
3)XGBT总结
以上时XGBoost使用的核心推导过程
5.Adaboost算法
Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
1)Adaboost算法推导
2)Adaboost算法举例
3)Adaboost算法收敛性证明
4)Adaboost总结
6.方差与偏差