xgboost算法原理

xgboost原理：https://www.jianshu.com/p/7467e616f227
https://www.zhihu.com/question/41354392/answer/98658997
https://www.cnblogs.com/kuangsyx/p/9043168.html
https://zhuanlan.zhihu.com/p/83901304
CART树：https://blog.csdn.net/e15273/article/details/79648502

1.xgboost就是一个监督模型，其对应的模型就是一堆CART树。将每棵树的预测值加到一起作为最终的预测值，可谓简单粗暴。

2.xgboost在特征粒度上可以并行计算。

Q：xgboost为什么使用CART树而不是用普通的决策树呢？
对于分类问题，由于CART树的叶子节点对应的值是一个实际的分数，而非一个确定的类别，这将有利于实现高效的优化算法。xgboost出名的原因一是准，二是快，之所以快，其中就有选用CART树的一份功劳。

Q：xgboost参数在哪里？
根据对CART树的介绍，我们知道，确定一棵CART树需要确定两部分，第一部分就是树的结构，这个结构负责将一个样本映射到一个确定的叶子节点上，其本质上就是一个函数。第二部分就是各个叶子节点上的分数。

Q：xgboost的损失函数？
xgboost可以用作分类也可以用作回归，其最终的目标函数等于损失函数加正则项。这里的正则化项由K棵树的正则化项相加而来。对于分类问题，我们常用的损失函数是对数损失函数（也即是交叉熵损失函数，两者等价）；对于回归问题，我们常用的损失函数是MSE。xgboost可以支持自定义损失函数，只需满足二次可微即可。