xgboost分类原理

XGBoost采用的是回归树，所以预测值也必须是回归值，这跟二分类问题有了冲突。

那么XGB如何解决呢？它实际上是将二分类问题当作logistic回归问题来看待的。
在逻辑斯蒂回归中，我们自然希望，对于0类样本，它的概率要尽可能小于0.5，对应到叶子值那就是应该是尽可能负。

在逻辑斯蒂回归中，我们自然希望，对于0类样本，它的概率要尽可能小于0.5，对应到叶子值那就是应该是尽可能负。那么我们算出来的这个近乎最优w值它是不是负的？

在理论情况下，pbefore即为前面t-1棵决策树叶子值相加后再进行sigmoid转换得到的概率，它理应是0.5以下，假如我们设为0.4，那么前述t-1轮所有决策树的叶子值肯定也是负的，假设一个叶子只有一个样本该样本为负样本，那么g1=0.4，对应的w=-0.4/(0.24+lambda)，这个值也是负的，如果这个叶子混进去了正样本，那么g2=-0.6，G=-0.2，w=0.2/(0.24+lambda)，显然与我们相悖，所以XGB的分裂方式仍然是在保证同类样本应该被分到同一个叶子中去的。