xgboost与gbdt

1.先明确一下分类树和回归树的概念：
分类树使用信息增益或增益比率来划分节点；每个节点样本的类别情况投票决定测试样本的类别。
回归树使用最大均方差划分节点；每个节点样本的均值作为测试样本的回归预测值。
2.都是利用了boosting思想，最小化残差（偏差）。
3.GBDT的基学习器一定是DT，而且是利用残差梯度构造基学习器，基学习器是先训练好的，再确定叶节点的输出（树的预测值，也就是权重w）。Xgboost的基学习器可以使树模型，也可以是其他模型，而且利用了残差的一阶导和二阶导；使用树模型时，分裂点是通过代价函数一步步算出来的，而不是利用GBDT直接利用残差梯度构造的树结构。
4.都可以增加shrinkage系数，这样会增加基分类器的个数。