理解xgboost

大牛博客推荐：
wepon
原始论文 ： XGBoost: A Scalable Tree Boosting System
xgboost的slide
中文原理说明

xgboost的原理篇看了很多，总结大牛博客和自己笔记基础上也写到博客上吧。

1、cart分类回归树

2、回归树集成

3、如何学习目标函数

3.1 addaptive tarning:

3.2 二阶泰勒展开式：

这里泰勒展开式中的f(x)就是损失函数。后面是当损失函数是平方损失函数时，与之前一致。
3.3 新的目标函数

这里

3.4 重新定义树

q(x)表示样本x在某个叶子节点上，wq(x)是该节点的打分,即该样本的模型预测值。
3.5 树的复杂度

3.6

3.7


3.8


参考文献：
1、http://blog.csdn.net/china1000/article/details/51106856
2、http://wepon.me/files/gbdt.pdf
3、http://blog.csdn.net/sb19931201/article/details/52557382