随机森林
: 多颗 决策树的集成学习方法。
集成学习方法
:
建立多个模型来解决一个问题。模型之间独立学习和独立预测。
最后的预测结果按照大多数合并为一个最终预测结果,这个最终的预测结果好于单个模型的预测。
随机森林
=随机,多次的创建决策树
创建决策树的过程如下:
有N个样本,M个特征
每次从样本集合里随机选1个样本,重复N次。 抽样有放回。(会出现重复抽取到样本)
随机在M个特征里面,选出m个特征(m<<M)
(树之间的样本集合,特征都是不同的)
核心思想:随机有放回的抽样!!bootstrap
如果你训练了150个树, 其中有104个树的结果是True, 46颗树的结果是False, 那么最终结果会是True.
api :
from sklearn.ensemble import RandomForestClassifier
RandomForestClassifier(n_estimators=122,criterion=“gini”,max_depth=22,max_features=“auto”,bootstrapestimators=True)
决策树个数,基尼系数,最大树深度,最大选择特征的数量,是否有放回
案例 :网格调优,预测泰坦尼克号生存。
from sklearn.model_selection import GridSearchCV
from sklearn.feature_extraction import DictVectorizer
import pandas