分类算法————集成学习方法之随机森林

目录

1、 什么是集成学习方法

2、 什么是随机森林

算法原理：

BootStrap抽样（有放回的随机抽样）

3，API

 4，代码实例

5，总结

---

1、 什么是集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

2、 什么是随机森林

随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

算法原理：

• 用N来表示训练用例（样本）的个数，n_features表示特征数目。
  • 训练集随机————  一次随机选出一个样本，重复N次，采用BootStrap抽样，有可能出现重复的样本
  • 特征随机—————  随机去选出max_features个特征, max_features <<n_features，建立决策树，等同于降维

BootStrap抽样（有放回的随机抽样）

随机抽样：使每一次训练集都不一样，从而获得不同的分类结果

有放回：使的每次的训练样本之间有交集，从而防止出现“片面绝对”的训练结果

3，API

from sklearn.ensemble import RandomForestClassifier

• class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)

  • 随机森林分类器
  • n_estimators：integer，（default = 10）可选森林里的树木数量120,200,300,500,800,1200
  • criteria：string，（default =“gini”）可选分割特征的测量方法
  • max_depth：integer或None， (default=None) 可选树的最大深度 5,8,15,25,30
  • max_features="auto”,每个决策树的最大特征数量
    • If "auto", then max_features=sqrt(n_features).
    • If "sqrt", then max_features=sqrt(n_features) (same as "auto").
    • If "log2", then max_features=log2(n_features).
    • If None, then max_features=n_features.
  • bootstrap：boolean，（default = True）可选是否在构建树时使用放回抽样
  • min_samples_split:节点划分最少样本数
  • min_samples_leaf:叶子节点的最小样本数

• 超参数：n_estimator, max_depth, min_samples_split,min_samples_leaf

 4，代码实例

# 随机森林去进行预测
rf = RandomForestClassifier()

param = {"n_estimators": [120,200,300,500,800,1200], "max_depth": [5, 8, 15, 25, 30]}

# 超参数调优
gc = GridSearchCV(rf, param_grid=param, cv=2)

gc.fit(x_train, y_train)

print("随机森林预测的准确率为：", gc.score(x_test, y_test))

5，总结

• 在当前所有算法中，具有极好的准确率
• 能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性