RF, GBDT, XGBOOST 之 GBDT

1. 随机森林
2. GBDT
3. XGBOOST

博主记忆力较差，主要目的是以后忘了的时候可以不用去网上找各种资料，内容有从其他地方摘录，也有自己总结，转载请注明出处

其实Wikipedia GBDT 对算法写的最清楚， 从gradient boosting 到 gradient boosting (decision) tree

Gradient boosting

Gradient Boosting是一种Boosting的方法，其与传统的Boosting的区别是，每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，可以在残差减少的梯度(Gradient)方向上建立一个新的模型。所以说，在Gradient Boosting中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少，与传统Boosting对正确、错误样本进行加权有着很大的区别。这个梯度代表上一轮学习器损失函数对预测值求导。

算法

对于$h_{m}$, 计算一个 γm