xgboost和lightgbm

https://www.bilibili.com/video/BV1Ca4y1t7DS?from=search&seid=17855892564381534976

 

XGBoost 和 LightGBM 对比

https://blog.csdn.net/qfikh/article/details/105157438

https://marian5211.github.io/2018/03/12/%E3%80%90%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E3%80%91gbdt-xgboost-lightGBM%E6%AF%94%E8%BE%83/

 

PPT已上传至公众号:Abela的后花园
代码已上传至:https://github.com/BackyardofAbela/EnsembleLearning

https://mp.weixin.qq.com/s/clNVCXxNkAUsQC-oHL2b2g

 

 

决策树和GBDT

决策树:分类与回归树CART

https://zhuanlan.zhihu.com/p/43113601

gbdt的cart树是回归树,通过平方误差进行分裂。gbdt是多个cart树,每个cart树之间要比较pred和label,最后的损失函数是不同的树之间得到的。单个树内部通过平方误差(分类树是基尼系数)进行分类,不用传统意义上的损失函数(即不用比较pred和label)。

 

决策树

https://zhuanlan.zhihu.com/p/85731206

决策树有三种算法,id3,c4.5,cart树,他们最大的不同是树分裂准则不一样。id3的分裂准则是信息增益,信息增益的缺点是对nunique值较多的特征比较敏感。c4.5的树分裂准则是信息增益率,克服了这个缺点,cart树的树分裂准则是基尼系数,避免了计算信息增益时的大量log运算。

此外,id3没有剪枝策略,其他两个有,cart树既能分类又能回归,其他两个只能分类。

gbdt

https://zhuanlan.zhihu.com/p/86263786

xgb和lgb

https://zhuanlan.zhihu.com/p/87885678

 树分裂的近似算法不同

xgb的树分裂策略

树分裂,最优切分点划分算法,近似分位数算法。

最优切分点划分算法

 

近似分位数算法

近似分位树算法利用了2阶导数信息,2阶导数是权重。

https://zhuanlan.zhihu.com/p/87885678

 

lgb的树分裂策略

https://zhuanlan.zhihu.com/p/149522630

直方图算法

xgb损失函数

https://zhuanlan.zhihu.com/p/92837676

 

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页