Sklearn 中的随机森林 【学习笔记--含有尝试代码可用】

上次的决策树在此

首先记录一下集成算法

集成学习算法

​ 集成学习（ensemble learning）是通过在数据上构建多个模型，集成所有模型的建模结果。有随机森林（比较基础），梯度提升树（GBDT），Xgboost等集成算法。

集成算法的目标

集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。多个模型集成成为的模型叫做集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器（base estimator）。通常来说，有三类集成方法：装袋法（Bagging），提升法（Boosting）和stacking。

装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。

提升法，基评估器是相关的，按顺序一一构建。核心思想是：结合弱评估器的力量一次次对难以评估的样本进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。

sklearn 中的集成算法

集成算法模块ensemble

类	类的功能
ensemble.AdaBoostClassififier	AdaBoost分类
ensemble.AdaBoostRegressor	Adaboost回归
ensemble.BaggingClassififier	装袋分类器
ensemble.BaggingRegressor	装袋回归器
ensemble.ExtraTreesClassififier	Extra-trees分类（超树，极端随机树）
ensemble.ExtraTreesRegressor	Extra-trees回归
ensemble.GradientBoostingClassififier	梯度提升分类
ensemble.GradientBoostingRegressor	梯度提升回归
ensemble.IsolationForest	隔离森林
ensemble.RandomForestClassifier	随机森林分类
ensemble.RandomForestRegressor	随机森林回归
ensemble.RandomTreesEmbedding	完全随机树的集成
ensemble.VotingClassifier	用于不合适估算器的软投票/多数规则分类器

分类树的不纯度用基尼系数或信息熵来衡量，回归树的不纯度用MSE均方误差来衡量。

防止过拟合：不要太茂盛

sklearn基本建模流程

• RandomForestClassifier

class sklearn.ensemble.RandomForestClassifier(n_estimators=’10’, criterion=’gini’, max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’,max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False,n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None)

下方图片来源网络

参数

接口

属性

单个决策树的准确率越高，随机森林的准确率也会越高，因为装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的。

随机森林独有参数

• n_estimators

  基基评估器的数量。这个参数对随机森林模型的精确性影响是单调的，n_estimators 越大，模型的效果往往越好任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动；n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长。对于这个参数，要在训练难度和模型效果之间取得平衡。

  # 导入
  from sklearn.tree import DecisionTreeClassifier
  from sklearn.ensemble import RandomForestClassifier
  from sklearn.datasets import load_wine
  wine = load_wine()
  

  # 分数据集
  from sklearn.model_selection import train_test_split
  Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
  

  # 建模  对比随机森林和决策树的结果
  clf = DecisionTreeClassifier(random_state=0)
  rfc = RandomForestClassifier(random_state=0)
  clf = clf.fit(Xtrain,Ytrain)
  rfc = rfc.fit(Xtrain,Ytrain)
  score_c = clf.score(Xtest,Ytest)
  score_r = rfc.score(Xtest,Ytest)
  

  print("Single Tree:{}".format(score_c),"Random Forest:{}".format(score_r))
  

from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

# 交叉验证后，对比效果
rfc_l = []
clf_l = []
for i in range(10):  # 循环十次，每次都有十次交叉验证
    rfc = RandomForestClassifier(n_estimators=25)
    rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
    rfc_l.append(rfc_s)
    clf = DecisionTreeClassifier()
    clf_s = cross_val_score(clf,wine.data,wine.target,cv=10).mean()
    clf_l.append(clf_s)
plt.plot(range(1,11),rfc_l,label = "Random Forest")
plt.plot(range(1,11),clf_l,label = "Decision Tree")
plt.legend()
plt.show()

n_estimators 学习曲线（比较慢）

superpa = []
for i in range(200):
    rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
    rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
    superpa.append(rfc_s)
print(max(superpa),superpa.index(max(superpa)))
plt.figure(figsize=[20,5])
plt.plot(range(1,201),superpa)
plt.show()

重要的属性和接口

随机森林中三个重要的属性：.estimators_，.oob_score_以及.feature_importances_。

• .estimators_ 是用来查看随机森林中所有树的列表的。
• .oob_score_ 指的是袋外得分。在抽样组成训练集的过程，有些数据从来都没有被抽到（称为袋外数据）。sklearn利用这些数据进行测试模型，测试的结果就由这个属性oob_score_来导出，本质还是模型的精确度。
• .feature_importances_ 和决策树中的.feature_importances_用法和含义都一致，是返回特征的重要性。

---

• predict_proba 这个接口返回每个测试样本对应的被分到每一类标签的概率，标签有几个分类就返回几个概率。如果是二分类问题，则predict_proba返回的数值大于0.5的，被分为1，小于0.5的，被分为0。
• 传统的随机森林是利用袋装法中的规则，平均或少数服从多数来决定集成的结果，而sklearn中的随机森林是平均每个样本对应的predict_proba返回的概率，得到一个平均概率，从而决定测试样本的分类。
• 随机森林的接口与决策树完全一致，因此依然有四个常用接口：apply, fit, predict和score。

rfc = RandomForestClassifier(n_estimators=25)
rfc = rfc.fit(Xtrain, Ytrain)
rfc.score(Xtest,Ytest)
rfc.feature_importances_
rfc.apply(Xtest)
rfc.predict(Xtest)
rfc.predict_proba(Xtest)

---

本内容属于个人学习记录，如有侵权请联系删除。
This content is a personal learning record；If there is any infringement, please contact to remove.