文章目录
概述
集成算法
集成学习(ensemble learning)是时下非常流行的机器学习算法,它本身不是一个单独的机器学习算法,而是通过在数据上构建多个横型,集成所有模型的建模结果,基本上所有的机器学习领域都可以看到集成学习的身影,在现实中集成学习也有相当大的作用,它可以用来做市场营销模拟的建模,统计客户来源,保留和流失,也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中,随机森林(入门级别容易上手),梯度提升树(GBDT) , Xgboost等集成算法的身影也随处可见,可见其效果之好,应用之广.
多个模型集成后的模型叫做集成评估器,集成评估器中的每一个模型叫做基评估器,通常来说有三类集成算法:Bagging、Boosting、Stacking
随机森林是Bagging的代表模型, 他所有的基评估器都是决策树。Bagging法中每一个基评估器是平行的,最后的结果采用平均值或者少数服从多数的原则
集成算法的目标
集成算法会考虑多个评估器的建模结果,汇总之后得到一个综合结果,以此来获取比单个模型更好的回归或分类表现
随机森林再sklearn中的位置
随机森林在sklearn中ensemble模块下
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import RandomForestRegressor
控制基评估器的参数,与决策树参数一样
参数 | 作用 |
---|---|
criterion | 不纯度的衡量指标,有基尼系数和信息增益两种 |
max_depth | 树的最大深度 |
min_samples_leaf | 一个节点分支后,子节点必须最少包含的样本数,如果不能满足条件将不能发生分支 |
min_samples_split | 一个节点如果要发生分支操作,必须要包含的最小样本数,不满足则不能分支 |
max_features | 限制分支时考虑的特征个数 |
min_impurity_decrease | 限制信息增益的减小,信息增益小于限定值时不发生分支 |
随机森林模型参数
- n_estimators : 推荐0-200之间的数值
这是森林中树木的数量,即基基评估器的数量。这个参数对随机森林模型的精确性影响是单调的,n_estimators越大,模型的效果往往越好。但是相应的,任何模型都有决策边界,n_estimators达到一定的程度之后,随机森林的精确性往往不在上升或开始波动,并且,n_estimators越大,需要的计算量和内存也越大,训练的时间也会越来越长。对于这个参数,我们是渴望在训练难度和模型效果之间取得平衡。 - random_state :控制生成随机森林的模式。并不能控制森林中的树的样式。随机性越大,模型效果越好,当然这样可能就不是很稳定,不便于调试。想要模型稳定,可以设置random_state参数
- bootstrap :控制抽样技术的参数,默认为True。采用有放回的随机抽样数据来形成训练数据。
对我们传入随机森林模型的数据集,对每一个基评估器采用有放回的随机抽样从原始数据集中抽取n个样本来组成自助集,并将自助集作为基评估器的训练数据。这样的作法大大增加了随机性,提高了模型的效果。
由于有放回,所以有一些样本可能在某些自助集中出现多次,而其他的一些样本可能被忽略。一般来说,自助集一般会包含63%的原始数据。那些被浪费掉的数据被称为袋外数据(out of bag data 简称oob)。除了我们最开始就划分好训练测试集外,这些被忽略的数据也可以用来作为测试集,也就是说在使用随机森林模型的时候可以不用划分数据集,只需要用袋外数据来测试我们的模型即可。当样本数量,和随机森林中树的数量不大的情况下,可能没有数据在袋外,也就不能用oob来测试模型了。 - oob_score :默认为False,True表示用袋外数据来测试模型。可以通过oob_score_来查看模型的准取度。
随机森林分类器示例
通过红酒数据集来测试随机森林模型,并比较随机森林和决策树在这个数据集下的表现。
导包
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score # 交叉检验
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_wine
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
加载数据集并分割训练集测试集
# 加载数据集
wine = load_wine()
X = wine['data']
y = wine['target']
# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
建立随机森林分类器模型和分类决策树,比较两个模型在的表现
# 训练随机森林,决策树模型,比较两种模型
# 建立随机森林分类器模型,并获得得分
rfc = RandomForestClassifier(random_state=1)
rfc.fit(X_train, y_train