随机森林

随机森林在sklearn中的实现
1、概述
1.1 集成算法概述

集成学习(ensemble learning)是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树(GBDT)，Xgboost等集成 算法的身影也随处可见，可见其效果之好，应用之广。

集成算法的目标
集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

多个模型集成成为的模型叫做集成评估器(ensemble estimator)，组成集成评估器的每个模型都叫做基评估器 (base estimator)。通常来说，有三类集成算法:装袋法(Bagging)，提升法(Boosting)和stacking。

**装袋法(Bagging)**的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结
果。装袋法的代表模型就是随机森林。
**提升法(Boosting)**中，基评估器是相关的，是按顺序一一构建的。其核心思想是结合弱评估器的力量一次次对难以评估的样本 进行预测，从而构成一个强评估器。提升法的代表模型有Adaboost和梯度提升树。

1.2 sklearn中的集成算法

• sklearn中的集成算法模块ensemble
  
• 复习:sklearn中的决策树

在开始随机森林之前，我们先复习一下决策树。决策树是一种原理简单，应用广泛的模型，它可以同时被用于分类和回归问题。决策树的主要功能是从一张有特征和标签的表格中，通过对特定特征进行提问，为我们总结出一系列决策规则，并用树状图来呈现这些决策规则。

决策树的核心问题有两个，一个是如何找出正确的特征来进行提问，即如何分枝，二是树生长到什么时候应该停下。

对于第一个问题，我们定义了用来衡量分枝质量的指标不纯度，分类树的不纯度用基尼系数或信息熵来衡量，回归树的不纯度用MSE均方误差来衡量。每次分枝时，决策树对所有的特征进行不纯度计算，选取不纯度最低的特征进行分枝，分枝后，又再对被分枝的不同取值下，计算每个特征的不纯度，继续选取不纯度最低的特征进行分枝。

每分枝一层，树整体的不纯度会越来越小，决策树追求的是最小不纯度。因此，决策树会一致分枝，直到没有更多的特征可用，或整体的不纯度指标已经最优，决策树就会停止生长。
决策树非常容易过拟合，这是说，它很容易在训练集上表现优秀，却在测试集上表现很糟糕。为了防止决策树的过 拟合，我们要对决策树进行剪枝，sklearn中提供了大量的剪枝参数，我们一会儿会带大家复习一下。

• sklearn的基本建模流程
  

from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier()
rfc=rfc.fit(X_train,y_train)
result=rfc.score(X_test,y_test)

2、RandomForestClassifier
随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。这一节主要讲解RandomForestClassifier，随机森林分类器。

2.1.1 控制基评估器的参数

这些参数在随机森林中的含义，和我们在上决策 树时说明的内容一模一样，单个决策树的准确率越高，随机森林的准确率也会越高，因为装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的。

2.1.2 n_estimators

这是森林中树木的数量，即基评估器的数量。这个参数对随机森林模型的精确性影响是单调的，n_estimators 越大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动，并且，n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来 越长。对于这个参数，我们是渴望在训练难度和模型效果之间取得平衡。
n_estimators的默认值在现有版本的sklearn中是10，但是在即将更新的0.22版本中，这个默认值会被修正为 100。这个修正显示出了使用者的调参倾向:要更大的n_estimators。

• 来建立一片森林吧

1. 导入我们需要的包

	from sklearn.datasets import load_wine
	from sklearn.model_selection import train_test_split
	from sklearn.ensemble import RandomForestClassifier
	from sklearn.tree import DecisionTreeClassifier

2. 导入需要的数据集

	data=load_wine().data
	target=load_wine().target

3. 复习:sklearn建模的基本流程

	X_train,X_test,y_train,y_test=train_test_split(data,target,test_size=0.2)
	rfc=RandomForestClassifier(random_state=0)
	rfc=rfc.fit(X_train,y_train)
	print(rfc.predict(X_test))
	print(y_test)
	score_rfc=rfc.score(X_test,y_test)
	print('-------------------------')
	clf=DecisionTreeClassifier(random_state=0)
	clf=clf.fit(X_train,y_train)
	print(clf.predict(X_test))
	print(y_test)
	score_clf=clf.score(X_test,y_test)
	print('------------------------')
	print('baggle tree:{}'.format(score_rfc),'\n',
      'single tree:{}'.format(score_clf),)

	[1 1 2 1 1 1 0 1 2 0 2 2 1 1 0 0 2 1 2 2 2 0 0 2 1 2 0 1 2 0 2 2 0 1 0 0]
	[1 1 2 1 1 2 0 1 2 0 2 2 1 1 1 0 2 1 2 2 2 0 0 2 1 2 0 1 2 0 2 2 0 1 0 0]
	-------------------------
	[1 1 2 1 1 2 0 1 2 0 2 2 1 1 0 0 2 1 2 2 2 0 0 2 1 2 1 1 2 0 2 1 0 1 0 0]
	[1 1 2 1 1 2 0 1 2 0 2 2 1 1 1 0 2 1 2 2 2 0 0 2 1 2 0 1 2 0 2 2 0 1 0 0]
	------------------------
	single tree:0.9444444444444444 
	baggle tree:0.9166666666666666

4. 画出随机森林和决策树在十组交叉验证下的效果对比
   交叉验证:是数据集划分为n分，依次取每一份做测试集，每n-1份做训练集，多次训练模型以观测模型稳定性的方法

	rfc_=[]
	clf_=[]
	for i in range(10):
	    rfc=RandomForestClassifier(n_estimators=25)
	    rfc_s=cross_val_score(rfc,data,target,cv=10).mean()
	    rfc_.append(rfc_s)
	
	    clf= DecisionTreeClassifier()
	    clf_s = cross_val_score(clf, data, target, cv=10)
	    clf_.append(clf_s)
	plt.plot(range(1,11),rfc_,label="Random tree")
	plt.plot(range(1,11),clf_,label="Decision tree")
	plt.legend()
	plt.show()

单个决策树的波动轨迹和随机森林一致?
再次验证了我们之前提到的，单个决策树的准确率越高，随机森林的准确率也会越高

9. n_estimators的学习曲线
   

	rfc_s=[]
	for i in range(20):
    rfc=RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
    rfc_s=cross_val_score(rfc,data,target,cv=10).mean()
    rfc_.append(rfc_s)
    
	print(max(rfc_),rfc_,rfc_.index(max(rfc_)))
	plt.figure(figsize=[4,5])
	plt.plot(range(1,21),rfc_,label="Random tree")
	plt.legend()
	plt.show()

2.2 重要属性和接口

随机森林中有三个非常重要的属性:.estimators_，.oob_score_以及.feature_importances_。

• .estimators_是用来查看随机森林中所有树的列表的。
• oob_score_指的是袋外得分。随机森林为了确保林中的每棵树都不尽相同，所以采用了对训练集进行有放回抽样的 方式来不断组成信的训练集，在这个过程中，会有一些数据从来没有被随机挑选到，他们就被叫做“袋外数据”。这 些袋外数据，没有被模型用来进行训练，sklearn可以帮助我们用他们来测试模型，测试的结果就由这个属性 oob_score_来导出，本质还是模型的精确度。
• .feature_importances_和决策树中的.feature_importances_用法和含义都一致，是返回特征的重要性。

随机森林的接口与决策树完全一致，因此依然有四个常用接口:apply, fit, predict和score。除此之外，还需要注 意随机森林的predict_proba接口，这个接口返回每个测试样本对应的被分到每一类标签的概率，标签有几个分类 就返回几个概率。如果是二分类问题，则predict_proba返回的数值大于0.5的，被分为1，小于0.5的，被分为0。 传统的随机森林是利用袋装法中的规则，平均或少数服从多数来决定集成的结果，而sklearn中的随机森林是平均每个样本对应的predict_proba返回的概率，得到一个平均概率，从而决定测试样本的分类。

	rfc = RandomForestClassifier(n_estimators=25)
	rfc = rfc.fit(Xtrain, Ytrain)
	rfc.score(Xtest,Ytest)
	rfc.feature_importances_
	rfc.apply(Xtest)
	rfc.predict(Xtest)
	rfc.predict_proba(Xtest)

3 机器学习中调参的基本思想

在准备这一套课程的时候，我发现大多数的机器学习相关的书都是遍历各种算法和案例，为大家讲解各种各样算法的原理和用途，但却对调参探究甚少。这中间有许多原因，其一是因为，调参的方式总是根据数据的状况而定，所以没有办法一概而论;其二是因为，其实大家也都没有特别好的办法。
通过画学习曲线，或者网格搜索，我们能够探索到调参边缘(代价可能是训练一次模型要跑三天三夜)，但是在现实中，高手调参恐怕还是多依赖于经验，而这些经验，来源于:1)非常正确的调参思路和方法，2)对模型评估指标的理解，3)对数据的感觉和经验，4)用洪荒之力去不断地尝试。我们也许无法学到高手们多年累积的经验，但我们可以学习他们对模型评估指标的理解和调参的思路。
那我们首先来讲讲正确的调参思路。模型调参，第一步是要找准目标:我们要做什么?一般来说，这个目标是提升某个模型评估指标，比如对于随机森林来说，我们想要提升的是模型在未知数据上的准确率(由score或 oob_score_来衡量)。找准了这个目标，我们就需要思考:模型在未知数据上的准确率受什么因素影响?在机器学习中，我们用来衡量模型在未知数据上的准确率的指标，叫做泛化误差(Genelization error)。

• 泛化误差
  
  当模型在未知数据(测试集或者袋外数据)上表现糟糕时，我们说模型的泛化程度不够，泛化误差大，模型的效果不好。泛化误差受到模型的结构(复杂度)影响。看下面这张图，它准确地描绘了泛化误差与模型复杂度的关系，当模型太复杂，模型就会过拟合，泛化能力就不够，所以泛化误差大。当模型太简单，模型就会欠拟合，拟合能力就不够，所以误差也会大。只有当模型的复杂度刚刚好的才能够达到泛化误差最小的目标。

  那模型的复杂度与我们的参数有什么关系呢?对树模型来说，树越茂盛，深度越深，枝叶越多，模型就越复杂。所以树模型是天生位于图的右上角的模型，随机森林是以树模型为基础，所以随机森林也是天生复杂度高的模型。随机森林的参数，都是向着一个目标去:减少模型的复杂度，把模型往图像的左边移动，防止过拟合。当然了，调参没有绝对，也有天生处于图像左边的随机森林，所以调参之前，我们要先判断，模型现在究竟处于图像的哪一边。

  泛化误差的背后其实是“偏差-方差困境”，原理十分复杂，无论你翻开哪一本书，你都会看见长篇的数学论证和每个 字都能看懂但是连在一起就看不懂的文字解释。在下一节偏差vs方差中，我用最简单易懂的语言为大家解释了泛化误差背后的原理，大家选读。那我们只需要记住这四点:
  1)模型太复杂或者太简单，都会让泛化误差高，我们追求的是位于中间的平衡点
  2)模型太复杂就会过拟合，模型太简单就会欠拟合
  3)对树模型和树的集成模型来说，树的深度越深，枝叶越多，模型越复杂
  4)树模型和树的集成模型的目标，都是减少模型复杂度，把模型往图像的左边移动

  那具体每个参数，都如何影响我们的复杂度和模型呢?我们一直以来调参，都是在学习曲线上轮流找最优值，盼望能够将准确率修正到一个比较高的水平。然而我们现在了解了随机森林的调参方向:降低复杂度，我们就可以将那些对复杂度影响巨大的参数挑选出来，研究他们的单调性，然后专注调整那些能最大限度让复杂度降低的参数。对于那些不单调的参数，或者反而会让复杂度升高的参数，我们就视情况使用，大多时候甚至可以退避。基于经验，我对各个参数对模型的影响程度做了一个排序。在我们调参的时候，大家可以参考这个顺序。
  
  有了以上的知识储备，我们现在也能够通过参数的变化来了解，模型什么时候到达了极限，当复杂度已经不能再降 低的时候，我们就不必再调整了，因为调整大型数据的参数是一件非常费时费力的事。除了学习曲线和网格搜索， 我们现在有了基于对模型和正确的调参思路的“推测”能力，这能够让我们的调参能力更上一层楼。

• 偏差 vs 方差(选读)
  一个集成模型(f)在未知数据集(D)上的泛化误差E(f;D)，由方差(var)，偏差(bais)和噪声(ε)共同决定。
  
  
  其中偏差衡量模型是否预测得准确，偏差越小，模型越“准”;而方差衡量模型每次预测的结果是否接近，即是说方差越小，模型越“稳”;噪声是机器学习无法干涉的部分，为了让世界美好一点，我们就不去研究了。一个好的模 型，要对大多数未知数据都预得”准“又”稳“。即是说，当偏差和方差都很低的时候，模型的泛化误差就小，在未知数据上的准确率就高。
  
  通常来说，方差和偏差有一个很大，泛化误差都会很大。然而，方差和偏差是此消彼长的，不可能同时达到最小值。这个要怎么理解呢?来看看下面这张图:
  
  从图上可以看出，模型复杂度大的时候，方差高，偏差低。偏差低，就是要求模型要预测得“准”。模型就会更努力去学习更多信息，会具体于训练数据，这会导致，模型在一部分数据上表现很好，在另一部分数据上表现却很糟糕。模型泛化性差，在不同数据上表现不稳定，所以方差就大。而要尽量学习训练集，模型的建立必然更多细节， 复杂程度必然上升。所以，复杂度高，方差高，总泛化误差高。
  相对的，复杂度低的时候，方差低，偏差高。方差低，要求模型预测得“稳”，泛化性更强，那对于模型来说，它就 不需要对数据进行一个太深的学习，只需要建立一个比较简单，判定比较宽泛的模型就可以了。结果就是，模型无 法在某一类或者某一组数据上达成很高的准确度，所以偏差就会大。所以，复杂度低，偏差高，总泛化误差高。
  我们调参的目标是，达到方差和偏差的完美平衡!虽然方差和偏差不能同时达到最小值，但他们组成的泛化误差却 可以有一个最低点，而我们就是要寻找这个最低点。对复杂度大的模型，要降低方差，对相对简单的模型，要降低偏差。随机森林的基评估器都拥有较低的偏差和较高的方差，因为决策树本身是预测比较”准“，比较容易过拟合的 模型，装袋法本身也要求基分类器的准确率必须要有50%以上。所以以随机森林为代表的装袋法的训练过程旨在降 低方差，即降低模型复杂度，所以随机森林参数的默认设定都是假设模型本身在泛化误差最低点的右边。所以，我们在降低复杂度的时候，本质其实是在降低随机森林的方差，随机森林所有的参数，也都是朝着降低方差的目标去。有了这一层理解，我们对复杂度和泛化误差的理解就更上一层楼了，对于我们调参，也有了更大的帮助。