xgboost算法梳理

任务内容：

1. XGB算法梳理

XGB是前向可加算法，t轮的预测与t-1轮预测的关系如下，

其中ft(x)为t轮的预测函数，在XGB中即为决策树。
损失函数为可变化如下：
其中为复杂程度的惩罚项，上式根据泰勒二阶展开式可进一步展开为（注：GBDT按照泰勒一阶展开式）：

其中，由于是t-1轮的损失函数，当迭代到t轮时，可看做是已知的，因此目标函数可转化为，把代入上式，可得，其中为样本xi所属叶节点的值，为叶节点j的值。
上式是从样本的角度描述，把所有样本的预测损失进行汇总。现假设t轮生成的决策树中有T个叶节点，每个样本必落在其中一个叶节点中，因此可以从叶节点的角度，把所有叶节点中所有的样本的预测损失进行汇总，变化如下：
，其中表示j叶子节点内的所有样本。