监督学习(七)——决策树集成：随机森林

决策树经常会对训练数据进行过拟合，也就是训练数据精度高，而预测结果很低。随机森林就是许多决策树的集合，每一棵决策树跟其他决策树都不同，每棵树都会不同方式的过拟合，那么对这些树的结果取平均值，就可以降低过拟合。

随机森林的随机方法有两种：

1、通过选择用于构造树的数据点；
2、通过选择每次划分测试的特征。

一、构造随机森林

构造一个随机森林模型，需要先确定用于构造的树的个数 (RandomForestRegressor 或 RandomForestClassifier 的 n_estimators 参数)。这些树在构造时彼此完全独立，算法对每棵树进行不同的随机选择，以确保树和树之间是有区别的。首先要对数据进行自助采样。也就是说，从 n_samples 个数据点中有放回地(即同一样本可以被多次抽取)重复随机抽取一个样本，共抽取 n_samples 次。这样会创建一个与原数据集大小相同的数据
集，但有些数据点会缺失，有些会重复。
接下来，基于这个新创建的数据集来构造决策树。在每个结点处，算法随机选择特征的一个子集，并对其中一个特征寻找最佳测试，而不是对每个结点都寻找最佳测试。选择的特征个数由 max_features 参数来控制。每个结点中特征子集的选择是相互独立的，这样树的每个结点可以使用特征的不同子集来做出决策。
由于采用了自助采样，随机森林中构造每棵决策树的数据集都是略有不同。由于每个节点的特征选择，每棵树的每次划分都是基于特征的不同子集，这两种方法共同保证随机森林中所有树都有所不同。
在构造过程中，有一个关键参数是 max_features。
max_features：单个决策树使用的最大特征个数
n_features：数据的特征个数
如果我们设置 max_features 等于 n_features，那么每次划分都要考虑数据集的所有特征，在特征选择的过程中没有添加随机性(不过自助采样依然存在随机性)。如果设置 max_features 等于 1，那么在划分时将无法选择对哪个特征进行测试，只能对随机选择的某个特征搜索不同的阈值。因此，如果 max_features 较大，那么随机森林中的树将会十分相似，利用最独特的特征可以轻松拟合数据。如果 max_features 较小，那么随机森林中的树将会差异很大，为了很好地拟合数据，每棵树的深度都要很大。

二、预测原理

先是利用森林中的每棵树进行预测。
对于回归问题，我们可以对这些结果取平均值作为最终预测。
对于分类问题，则用到了“软投票”策略。也就是说，每个算法做出“软”预测，给出每个可能的输出标签的概率。对所有树的预测概率取平均值，然后将概率最大的类别作为预测结果。
例子

import mglearn
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt

X, y = make_moons(n_samples=100, noise=0.25, random_state=3)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)

# 创建由5棵树组成的随机森林
forest = RandomForestClassifier(n_estimators=5, random_state=2)
forest.fit(X_train, y_train)
fig, axes = plt.subplots(2, 3, figsize=(20, 10))

# 将这5棵树每棵树的决策边界可视化，然后将这个森林的总预测也可视化
for i, (ax, tree) in enumerate(zip(axes.ravel(), forest.estimators_)):
    ax.set_title("Tree {}".format(i))
    mglearn.plots.plot_tree_partition(X_train, y_train, tree, ax=ax)
mglearn.plots.plot_2d_separator(forest, X_train, fill=True, ax=axes[-1, -1], alpha=.4)
axes[-1, -1].set_title("Random Forest")
mglearn.discrete_scatter(X_train[:, 0], X_train[:, 1], y_train)
plt.show()

可视化的图片

随机森林的决策边界.png

由上面的图，我们可以看出来，在前5张图中，这5棵树学到的决策边界大不相同。每棵树都犯了一些错误，由于自助采样的原因，导致一些训练点不在整个树的训练集找那个。
随机森林比单独每一棵树的过拟合都要小，给出的决策边界也更符合直觉。在任何实际应用中，我们会用到更多棵树(通常是几百或上千)，从而得到更平滑的边界。

三、优点、缺点和参数

用于回归和分类的随机森林是目前应用最广泛的机器学习方法之一。 这种方法非常强大，通常不需要反复调节参数就可以给出很好的结果，也不需要对数据进行缩放。
从本质上看，随机森林拥有决策树的所有优点，同时弥补了决策树的一些缺陷。在大型数据集上构建随机森林可能比较费时间，但是可以在多个 CPU上并行计算。通过使用 n_jobs 参数来调节使用的CPU个数。但设置 n_jobs 大于CPU个数是没有用的。可以设置 n_jobs=-1 来使用计算机的所有内核。
随机森林本质上是随机的，设置不同的随机状态(或者不设置 random_state 参数)可以彻底改变构建的模型。森林中的树越多，它对随机状态选择的鲁棒性就越好。
对于维度非常高的稀疏数据(比如文本数据)，随机森林的表现往往不是很好。对于这种数据，使用线性模型可能更合适。即使是非常大的数据集，随机森林的表现通常也很好。不过，随机森林需要更大的内存，训练和预测的速度也比线性模型要慢。对一个应用来说，如果时间和内存很重要的话，那么换用线性模型可能更为明智。
需要调节的重要参数有 n_estimators 和 max_features，可能还包括预剪枝选项(如 max_ depth)。n_estimators 总是越大越好。对更多的树取平均可以降低过拟合，从而得到鲁棒性更好的集成。不过收益是递减的，而且树越多需要的内存也越多，训练时间也越长。常用的经验法则就是“在时间和内存允许的情况下尽量多”。
max_features 决定每棵树的随机性大小，较小的 max_features 可以降低过拟合。一般使用默认值: 对于分类，默认值是 max_features=sqrt(n_ features); 对于回归，默认值是 max_features=n_features。 增 大 max_features 或 max_ leaf_nodes 有时也可以提高性能。它还可以大大降低用于训练和预测的时间和空间要求。