机器学习——随机森林（学习笔记）

目录

一、基础认识

1. 集成算法介绍

2. 集成算法种类

二、sklearn中的随机森林

1. ensemble.RandomForestClassifier （随机森林分类）

（1）基本参数

（2）基本属性

（3）基本接口

2. ensemble.RandomForestRegressor （随机森林回归）

3. 其他（补充）

三、测试代码

1. ensemble.RandomForestClassifier

2. ensemble.RandomForestRegressor

---

一、基础认识

1. 集成算法介绍

        集成学习 （ensemble learning） 是时下非常流行的 机器学习算法，它本身不是一个 单独的机器学习算法，而是 通过在数据上构建多个模型，集成所有模型的建模结果。基本上 所有的机器学习领域都可以 看到集成学习的 身影。在现在的 各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成算法的身影也随处可见，可见其效果之好，应用之广。

集成算法目标：

        集成算法 会考虑 多个评估器的 建模结果，汇总之后 得到一个综合 的结果，以此来 获取比 单个模型更好的回归或分类表现。

2. 集成算法种类

        多个模型集成成为的模型叫做 集成评估器（ensemble estimator），组成集成评估器的每个模型都叫做基评估器（base estimator）。通常来说，有三类集成算法：装袋法（Bagging），提升法（Boosting） 和stacking。

        装袋法 的核心思想是构建多个相互独立的评估器，然后 对其预测 进行平均 或多数 表决原则来 决定集成评估器的 结果。装袋法的 代表模型就是 随机森林。

        提升法 中，基评估器是 相关的，是按顺序 — — 构建的。其核心思想 是结合弱评估器的力量一次次对难以评估的样本 进行预测，从而构成一个强评估器。提升法的代表模型 有Adaboost和梯度提升树。

二、sklearn中的随机森林

        涉及模块：sklearn.ensemble

1. ensemble.RandomForestClassifier （随机森林分类）

（1）基本参数

（2）基本属性

（3）基本接口

2. ensemble.RandomForestRegressor （随机森林回归）

        重要参数：criterion

        回归树 衡量分枝质量的指标，支持的标准有三种：

       ① 输入“ mse”使用均方误差mean squared error（MSE），父节点和叶子节点之间的均方误差的差额将被用来 作为 特征选择的 标准，这种方法 通过 使用叶子节点的 均值来 最小化 L2损失。

       ② 输入“ friedman_mse”，使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差。

       ③ 输入“ mae” 使用绝对平均误差 MAE （mean absolute error），这种指标使用 叶节点的中值来 最小化 L1损失。

3. 其他（补充）

        ① 单个决策树的 准确率越高，随机森林的 准确率也会越高，因为 装袋法是 依赖于 平均值或者少数 服从多数 原则来 决定集成的结果的。

        ② n_estimators 参数对 随机森林模型的 精确性影响是 单调的，n_estimators 越大，模型的效果 往往越好。但是相应的，任何模型 都有决策边界，n_estimators达到一定的程度之后，随机森林的 精确性往往 不在上升 或 开始波动，并且，n_estimators 越大，需要的 计算量和 内存也越大，训练的时间 也会越来越长。

        ③ 当 random_state固定时，随机森林中生成是 一组固定的树，但 每棵树依然是 不一致的，这是 用随机挑选特征 进行分枝 的方法得到的 随机性。并且可以证明，当这种随机性越大 的时候，袋装法的效果 一般会越来越好。用 袋装法集成时，基分类器 应当是 相互独立的，是不相同的。

        ④ 袋装法 是通过 有放回的 随机抽样技术 来形成不同 的训练数据。在 使用随机森林时，我们 可以不划分 测试集和训练集，只需要 用袋外数据来 测试我们的 模型即可。（即控制 oob_score参数）

        ⑤ 当 n 和 n_estimators 都不够大 的时候，很可能 就没有 数据掉 落在袋外，自然也就无法使用 oob 数据来 测试模型了。

        ⑥ 在使用 袋装法时 要求基评估器 要尽量独立。其次还有 另一个必要条件：基分类器的判断准确率至少要超过随机分类器，即，基分类器的判断准确率至少要超过 50%。

三、测试代码

1. ensemble.RandomForestClassifier

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

# 实例化数据集
data = load_breast_cancer()

rfc = RandomForestClassifier(criterion='gini', 
                             n_estimators=72, 
                             random_state=90, 
                             max_depth=8, 
                             min_samples_split=2, 
                             max_features=22
                            )
rfc = rfc.fit(data.data, data.target)
score = cross_val_score(rfc, data.data, data.target, cv=10).mean()
print(score)

2. ensemble.RandomForestRegressor

# 导入波士顿房价数据集
import pandas as pd
import numpy as np
data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score

rfr = RandomForestRegressor(n_estimators=100, random_state=90)
score = cross_val_score(rfr, data, target, scoring='neg_mean_squared_error', cv=5).mean()
print(score)