XGBoost GBDT

http://xgboost.readthedocs.io/en/latest/model.html

XGBoost：https://www.cnblogs.com/mfryf/p/6293814.html#undefined

http://xgboost.readthedocs.io/en/latest/python/python_api.html

http://wepon.me/files/gbdt.pdf

知乎wepon：

xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点）， xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

作者：wepon
链接：https://www.zhihu.com/question/41354392/answer/98658997
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。