集成学习方法之随机森林

随机森林算法

集成学习

集成学习通过建立几个模型组合来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和做出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

随机森林算法核心思想

机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
随机（两个随机） + 森林（包含多个决策树的分类器）

N个样本，每个样本有M个特征。

随机
    两个随机
        训练集随机 - N个样本中随机有放回的抽样N个
            bootstrap 随机有放回抽样
            [1, 2, 3, 4, 5]
            新的树的训练集
            [2, 2, 3, 1, 5]
        特征随机 - 从M个特征中随机抽取m个特征
            M >> m
            可以起到降维作用

优点

能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维 

API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, 
criterion='gini',max_depth=None, 
bootstrap=True, random_state=None, min_samples_split=2)
	随机森林分类器
	n_estimators: integer, optional (default = 10)森林里的树木数量
	criteria: string, 可选(default=“gini")分割特征的测量方法
	max_depth: integer或None，可选(默认=无)树的最大深度
	max_features="auto" ,每个决策树的最大特征数量
		If "auto", then max_features=sqrt(n_features)
		If "sqrt", then max_features=sqrt(n_features) (same as "auto")
		If "log2", then max_features=log2(n_features)
		If None, then max_features=n_features
	bootstrap: boolean, optional (default = True)是否在构建树时使用放回抽样
	min_samples_split:节点划分最少样本数
	min_samples_leaf:叶子节点的最小样本数
超参数: n_estimator, max_depth, min_samples_split,min_samples_leaf

---

用随机森林算法对鸢尾花数据集进行分类预测

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier


# 1）获取数据
iris = load_iris()

# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)

# 3) 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4）随机森林预估器
estimator = RandomForestClassifier(criterion='gini')
estimator.fit(x_train, y_train)


# 5）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)

# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)