《菜菜的机器学习sklearn课堂(1)，Java面试常见问题

随机森林

• 随机森林 - 概述

• • 集成算法概述

  • sklearn中的集成算法

• 随机森林分类器 RandomForestClassifier

• • 重要参数

  • • 控制基评估器的参数

    • n_estimators：基评估器的数量

    • 【建立一片森林】

    • random_state：控制森林生成模式的随机性

    • bootstrap：控制抽样技术

  • 重要属性

  • • oob_score_：袋外数据测试模型准确度

    • estimators_：查看森林中树的状况

  • 重要接口：apply、fit、predict、score

• 随机森林回归器 RandomForestRegressor

• *机器学习中调参的基本思想

• • *泛化误差：衡量模型在未知数据上的准确率的指标

• **实例：随机森林在乳腺癌数据上的调参

[《菜菜的机器学习sklearn课堂》笔记目录 + 课件](

)

[](

)随机森林 - 概述

============================================================================

[](

)集成算法概述

---

集成学习(ensemble learning) 是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。

几乎所有机器学习领域都可以看到集成学习的身影，现实中集成学习也有很大作用：

• 市场营销模拟的建模

• 统计客户来源，保留和流失

• 预测疾病的风险和病患者的易感性

• 在现在的算法竞赛中，随机森林、梯度提升树(GBDT)，Xgboost等集成算法随处可见

  …

集成算法的目标：集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

多个模型集成成为的模型叫做集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器（base estimator）。通常来说，有三类集成算法：

• 装袋法（Bagging）

  装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。

• 提升法（Boosting）

  提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。

• stacking

[](

)sklearn中的集成算法

---

sklearn中的集成算法模块ensemble

| 类 | 类的功能 |

| — | — |

| ensemble.AdaBoostClassifier | AdaBoost分类 |

| ensemble.AdaBoostRegressor | Adaboost回归 |

| ensemble.BaggingClassifier | 装袋分类器 |

| ensemble.BaggingRegressor | 装袋回归器 |

| ensemble.ExtraTreesClassifier | Extra-trees分类（超树，极端随机树） |

| ensemble.ExtraTreesRegressor | Extra-trees回归 |

| ensemble.GradientBoostingClassifier | 梯度提升分类 |

| ensemble.GradientBoostingRegressor | 梯度提升回归 |

| ensemble.IsolationForest | 隔离森林 |

| ensemble.RandomForestClassifier | 随机森林分类 |

| ensemble.RandomForestRegressor | 随机森林回归 |

| ensemble.RandomTreesEmbedding | 完全随机树的集成 |

| ensemble.VotingClassifier | 用于不合适估算器的软投票/多数规则分类器 |

集成算法中有一半以上都是树的集成模型，可见决策树在集成中必定效果很好。

我们会以随机森林为例，慢慢揭开集成算法的神秘面纱。

[复习：sklearn中的决策树](

)

[]