机器学习知识点

day1

LGBM与XGBOOST：
XGBoost是在GBDT（梯度提升决策树）基础上发展而来,针对传统GBDT算法做了很多细节改进，包括损失函数、正则化、切分点查找算法优化、稀疏感知算法、并行化算法设计等等

LightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的
与以往的算法比较①histogram算法替换了传统的Pre-Sorted，某种意义上是牺牲了精度（但是作者声明实验发现精度影响不大）换取速度，直方图作差构建叶子。（xgboost的分布式实现也是基于直方图的，利于并行）②带有深度限制的按叶子生长 (leaf-wise) 算法代替了传统的(level-wise) 决策树生长策略，提升精度，同时避免过拟合危险。

LightGBM作者对模型的一些解释：
https://www.zhihu.com/question/51644470/answer/130946285

两者的结构主要区别：在过滤数据样例寻找分割值时，LightGBM 使用的是全新的技术：基于梯度的单边采样（GOSS）；而 XGBoost 则通过预分类算法和直方图算法来确定最优分割。
选择LGBM替换XGBOOST的理由：
1.在速度上LGBM比XGBOOST的快十倍甚至百倍以上
2.LGBM与xgboost的精度不相上下

下采样
https://blog.csdn.net/weixin_44451032/article/details/99974665