sklearn库学习----随机森林(RandomForestClassifier，RandomForestRegressor)

概述

集成算法

集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个横型，集成所有模型的建模结果，基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林(入门级别容易上手)，梯度提升树（GBDT） ， Xgboost等集成算法的身影也随处可见，可见其效果之好，应用之广.

多个模型集成后的模型叫做集成评估器，集成评估器中的每一个模型叫做基评估器，通常来说有三类集成算法：Bagging、Boosting、Stacking
随机森林是Bagging的代表模型, 他所有的基评估器都是决策树。Bagging法中每一个基评估器是平行的，最后的结果采用平均值或者少数服从多数的原则

集成算法的目标

集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合结果，以此来获取比单个模型更好的回归或分类表现

随机森林再sklearn中的位置

随机森林在sklearn中ensemble模块下

from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import RandomForestRegressor

控制基评估器的参数，与决策树参数一样

参数	作用
criterion	不纯度的衡量指标，有基尼系数和信息增益两种
max_depth	树的最大深度
min_samples_leaf	一个节点分支后，子节点必须最少包含的样本数，如果不能满足条件将不能发生分支
min_samples_split	一个节点如果要发生分支操作，必须要包含的最小样本数，不满足则不能分支
max_features	限制分支时考虑的特征个数
min_impurity_decrease	限制信息增益的减小，信息增益小于限定值时不发生分支

随机森林模型参数

• n_estimators : 推荐0-200之间的数值
  这是森林中树木的数量，即基基评估器的数量。这个参数对随机森林模型的精确性影响是单调的，n＿estimators越大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n＿estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动，并且，n＿estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长。对于这个参数，我们是渴望在训练难度和模型效果之间取得平衡。
• random_state ：控制生成随机森林的模式。并不能控制森林中的树的样式。随机性越大，模型效果越好，当然这样可能就不是很稳定，不便于调试。想要模型稳定，可以设置random_state参数
• bootstrap ：控制抽样技术的参数，默认为True。采用有放回的随机抽样数据来形成训练数据。
  对我们传入随机森林模型的数据集，对每一个基评估器采用有放回的随机抽样从原始数据集中抽取n个样本来组成自助集，并将自助集作为基评估器的训练数据。这样的作法大大增加了随机性，提高了模型的效果。
  由于有放回，所以有一些样本可能在某些自助集中出现多次，而其他的一些样本可能被忽略。一般来说，自助集一般会包含63%的原始数据。那些被浪费掉的数据被称为袋外数据(out of bag data 简称oob)。除了我们最开始就划分好训练测试集外，这些被忽略的数据也可以用来作为测试集，也就是说在使用随机森林模型的时候可以不用划分数据集，只需要用袋外数据来测试我们的模型即可。当样本数量，和随机森林中树的数量不大的情况下，可能没有数据在袋外，也就不能用oob来测试模型了。
• oob_score ：默认为False，True表示用袋外数据来测试模型。可以通过oob_score_来查看模型的准取度。

随机森林分类器示例

通过红酒数据集来测试随机森林模型，并比较随机森林和决策树在这个数据集下的表现。

导包

from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score # 交叉检验
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_wine
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

%matplotlib inline
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

加载数据集并分割训练集测试集

# 加载数据集
wine = load_wine()
X = wine['data']
y = wine['target']
# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

建立随机森林分类器模型和分类决策树，比较两个模型在的表现

# 训练随机森林，决策树模型，比较两种模型

# 建立随机森林分类器模型，并获得得分
rfc = RandomForestClassifier(random_state=1)
rfc.fit(X_train, y_train