- 作为一名小白,被GBDT和Xgboost整的一脸懵逼,现写下一些笔记,所有内容都来自各大神的榜文,此文仅用于个人阅读笔记,如有不对,欢迎指出~~~~
- 首先要明确一下什么是GB(Gradient boosting),什么是DT(Decision Tree)。DT就不说了,周志华老师讲的很明白。现在说一下GB:
维基上的伪代码,简单明了。一开始最让我懵逼的就是2.2,用残差的梯度构造一个学习器,所以这个学习器有无限的可能性,但是考虑到boosting是针对弱学习器的算法,你懂得。
3.现在就可以好好谈谈GBDT了:
对比伪代码可以发现,GBDT只是把2.2固定成了DT而已。
所以说,GBDT的每一棵树是先用残差梯度训练好的,而每一棵树的预测值是根据最后的公式算出来的。
有地方说这里的决策树的叶子节点数是固定的~~~
4.下面是对GBDT分类问题的说明
5.一个很有意思的问题
6.补充说明
7.疑问:
1.为什么梯度可以作为残差的估计?