随机森林RF、XGBoost、GBDT和LightGBM的原理和区别

1、基本知识点介绍

• RandomForest、XGBoost、GBDT和LightGBM都属于集成学习。

• 集成学习通过构建并结合多个分类器来完成学习任务，也称为多分类系统，集成学习的目的是通过结合多个机器学习分类器的预测结果来改善基本学习器的泛化能力和鲁棒性。

• 集成学习方法大致分为两类：

  • 基本学习器之间存在强依赖关系、必须串行生成的序列化方法，即Boosting提升方法。

  • 基本学习器之间不存在强依赖关系、可同时生成的并行化方法，即Bagging方法。

2、各个算法原理

2.1 随机森林 -- RandomForest<