XGBoost 相比传统 GBDT 有何不同?XGBoost 的特点是什么?XGBoost 为什么快?XGBoost 如何支持并行?
(0)实际上GBDT泛指所有梯度提升树算法包括XGBoost,为了区分,通常GBDT特指只用了一阶导数信息的算法。(1)传统GBDT仅以CART回归树作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。(2)传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。xgboost工具支持自定义代价函数,要求函数可一阶和二阶求导。(3)xgboost在
原创
2021-09-27 13:52:17 ·
254 阅读 ·
0 评论