机器学习之树模型

决策树模型，树的结构固定，自顶向下分叉。优化方法就是搜索某个特征的取值范围作为分支的界限。所以，各种决策树模型的体现在度量信息增益的方式，Formally讲，就是损失函数。回归树用MSE，分类树用交叉熵。

xgboost模型

推导第t步的损失函数

得到新的目标函数并进一步，将它分解为T个叶子节点上子目标函数之和（方便下边搜索树结构使用）。

解这个二次函数的最小值问题得到形式化的解法。

贪心法搜索树的结构。选择能让信息增益最大的feature和分界点。

总结

xgboost由加法模型分析得出一个第t步决策树的损失函数。首先加法模型总体的损失函数是MSE. 第t步的损失函数将前t-1步决策树预测的和看作变量，将第t步的决策树预测看作是泰勒展开式中的增量，然后将总体损失函数利用泰勒展开式展开到3项，将不含第t步预测的项当作常数略去。可以发现这个第t步的损失函数是二次函数，有形式化的解法，可以直接得到损失函数的最优解。进一步将这个第t步的损失函数规整为T个叶子节点损失函数之和。定义新的信息增益来搜索第t步的决策树。

参考文献

https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf 陈天奇的讲义