小记
记录GBDT,xgboost,lightdbm学习过程中的重点
引用
XGBoost特点、调参、讨论
xgboost入门与实战(原理篇)
机器不学习:机器学习时代三大神器GBDT、XGBoost、LightGBM
xgboost优点
- xgb支持线性分类器
- 对代价函数进行二阶泰勒展开,且支持自定义代价函数,主要一阶二阶可导
- 通过控制叶子节点数和节点值以控制复杂度
- 自动学习分裂方向,稀疏感知算法Sparsity-aware Split Finding
- 支持并行,主要是分类时计算最佳分裂点的并行