sklearn adaboost_sklearn之随机森林(1)

我是谁？梦幻

1 概述

集成算法：考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

有三类集成算法：装袋法（Bagging），提升法（Boosting）和stacking

装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果，装袋法的代表模型就是随机森林；提升法中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。

sklearn.ensemble

一半以上都是树的集成模型。

2 随机森林分类

（1）控制基评估器的参数

基本和决策树参数一致

（2）n_estimators

基评估器的数量，这个参数对随机森林模型的精确性影响是单调的，n_estimators越大，模型的效果往往越好。但有一定的限度，到达一定精确度后一般会不再上升产生波动。

交叉验证

10次交叉验证结果

学习曲线

random_state生成固定的森林，但是森林里面的每一棵树是不同的。

bootstrap & oob_score有放回的随机抽样，自助法：bootstrap=True表示有放回的随机抽样技术，一般都设置为True。oob_score袋外数据作为测试集，oob_score为True时，训练时需要输入所有数据。

重要属性和接口

参数：n_estimators（树的数量），random_state（森林的随机性），boostrap（是否是有放回的抽样）和oob_score（是否使用袋外数据为测试集）。

属性：.estimators_（每棵决策树具体的参数设置），.oob_score_（袋外数据预测结果）， .feature_importances_ （属性的重要性） 。

接口：apply（每棵树分到的叶子节点的索引）, fit（训练）, predict（预测，输出预测结果）predict_proba（预测，输出预测为每一类的概率）、score（输出准确率）