sklearn - 分类算法 -随机森林

随机森林 ： 多颗 决策树的集成学习方法。

集成学习方法：

建立多个模型来解决一个问题。模型之间独立学习和独立预测。
最后的预测结果按照大多数合并为一个最终预测结果，这个最终的预测结果好于单个模型的预测。

随机森林=随机，多次的创建决策树
创建决策树的过程如下：

有N个样本，M个特征

每次从样本集合里随机选1个样本，重复N次。 抽样有放回。（会出现重复抽取到样本）
随机在M个特征里面，选出m个特征（m<<M）

（树之间的样本集合，特征都是不同的）

核心思想：随机有放回的抽样！！bootstrap

如果你训练了150个树, 其中有104个树的结果是True, 46颗树的结果是False, 那么最终结果会是True.

api :

from sklearn.ensemble import RandomForestClassifier
RandomForestClassifier(n_estimators=122,criterion=“gini”,max_depth=22,max_features=“auto”,bootstrapestimators=True)

决策树个数，基尼系数，最大树深度，最大选择特征的数量，是否有放回

案例 ：网格调优，预测泰坦尼克号生存。

from sklearn.model_selection import GridSearchCV
from    sklearn.feature_extraction import DictVectorizer
import pandas