XGBoost和GBDT

建树的时候最关键的一步就是选择一个分裂的准则，也就如何评价分裂的质量。比如在前面文章GBDT的介绍里，我们可以选择MSE，MAE来评价我们的分裂的质量，但是，我们所选择的分裂准则似乎不总是和我们的损失函数有关，因为这种选择是启发式的。

比如，在分类任务里面，损失函数可以选择logloss，分裂准确选择MSE，这样看来，似乎分裂的好坏和我们的损失并没有直接挂钩。

在GBDT中，分裂准则可以进行自定义，比如MSE和MAE，所以不一定和损失函数是直接相关的。在分类任务中，损失函数为logloss，分裂准则可以选择MSE。

而在XGB中，分裂准则是通过损失函数进行推导的。

XGB相比于GBDT，损失函数增加了正则化项，其中包含叶子节点的个数和叶子节点值的取值。前者是线性项，后者是平方项。