文章目录 主要内容如下: 随机森林特点 决策树与随机森林关系的思考 样本加权 提升的概念 问题解答 提升算法 提升算法推导 梯度提升决策树(GBDT) 算法推导 决策树的描述 鸢尾花数据解析 例子 目标函数计算 XGBoost小结 boosting思想 Adaboost 解释Adaboost的这么做的特点 例子 Adaboost误差上限 Adaboost总结 偏差与方差 总结 主要内容如下: 随机森林特点 在做一些分类器或者回归器时,我们可以通过随机森林的方式把它变成若干个,从理论上说总是可以提高精度的。但是: 使用一阶导数或二阶就可以得到GBDT或Adaboost自适应提升了。 决策树与随机森林关系的思考 样本加权 提升的概念 问题解答 目标函数不同相当于我们所做的事不同,这是一个想法。 提升算法 提升算法推导