【机器学习】随机森林及调参 学习笔记

目录

集成学习

Boosting（提升法）：

 代表算法

Bagging(装袋法)：

 随机森林

 随机森林参数

随机森林调参实战：

随机森林优缺点总结

---

 

集成学习

集成学习通过构建多个学习器来完成任务，通过多个弱学习器组成一个强学习器。

Boosting（提升法）：

个体学习器之间存在强依赖关系，通过串行生成的序列化方法，通过加法模型将弱分类器（基评估器）进行线性组合。

提高前一轮被弱分类器分错的样本的权重，减少在前一轮被弱分类器分对的样本的权值。

 代表算法

• Adaboost
• GBDT
• XGBoost
• LightGBM

Bagging(装袋法)：

个体学习器之间不存在强依赖关系，采取并行化

 随机森林中，还会随机抽取一定数量的特征。

 随机森林

随机森林的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林叫做随机森林回归器。

 随机森林参数

 随机森林中树的参数<