【机器学习】GBDT vs. XGBoost vs. LightGBM
GBDT vs. XGBoost vs. LightGBM(论文层面)
GBDT vs. XGBoost
GBDT无显式正则化
GBDT仅使用了目标函数一阶泰勒展开,而XGBoost使用了二阶的泰勒展开值
为什么二阶展开?
一说加快收敛速度
另外有说本身模型训练的学习率shrinkage可以通过二阶导数做一个逼近,而原始的GBDT没有计算这个,所以一般是通过预设的超参数eta人为...
原创
2020-04-22 00:17:33 ·
161 阅读 ·
0 评论