xgoost原理篇

参考xgboost官方介绍

占坑先，想起来了会填的~

前言：关于xgboost，其作者有个介绍性的ppt，写的很好！就算不是为了看xgboost，也可以看看前面部分，作者对监督学习的解释讲得很好！~ xgboost原理介绍 防网页挂掉专用下载链接xgboost原理

        xgboost属于boosting算法，xgboost模型是ensemble trees(这个对于GBDT、Random Forests等都是)，损失函数是MSE平方损失函数，策略是结构风险化最小(前面在xgboost调参里面也将到了xgboost是属于有正则化项的)，算法是前向分步算法。

        xgboost一个很神奇的点在于用的是MSE，所以拟合的是上一次拟合的残差(有一个现象是xgboost通常用很少的树深度就能达到好的精度，而random forests则不然，因为random forests是随机建树，树之间没有依赖关系，这种可以完全并行化的集成方法一般都会有降低variance，而非提高bias的感觉。)

     先这么多，之后再补充吧