随机森林

集成算法：
single、bagging（装袋法）、boosting（提升法）

装袋法的核心思想是构建多个相互独立的评估器，然后对其进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。

sklearn中的集成算法
sklearn中的集成算法模块：ensemble

类	类的功能
ensemble.AdaBoostClassifier	Adaboost分类
ensemble.AdaBoostRegressor	Adaboost回归
ensemble.BaggingClaffier	装袋分类器
ensemble.BaggingRegressor	装袋回归器
ensemble.ExtraTreesClassifier	Extra-trees分类（超树，极端随机树）
ensemble.ExtraTreesRegressor	Extra-trees回归
ensemble.GradientBoostingClassifier	梯度提升分类树
ensemble.GradientBoostingRegressor	梯度提升回归树
ensemble.IsolationForest	隔离森林
ensemble.RandomForestClassifier	随机森林分类
ensemble.RandomForestRegressor	随机森林回归
ensemble.RandomTreeEmbedding	完全随机树的集成
ensemble.VotingClassifier	用于不适合估算器的软投票/多数规则分类器

在这个流程下，随机森林对应的代码和决策树基本一致：

from sklearn.tree import RandomForestClassifier #导入需要的模块

rfc=RandomForestClassifier() #实例化
rfc=rfc.fit(X_train,Y_train) #用训练集数据训练模型
result=rfc.score(X_test,Y_test)  #导入测试集，从接口中调用需要的信息

随机森林是非常具有代表性的Bagging算法，他的所有基评估器都是决策树，分类树组成的森林就是随机森林分类器，回归树所集成的森林就是随机森林回归器。

参数	含义
criterion	不纯度的衡量指标，有基尼系数和信息熵两种选择
max_depth	树的最大深度，超过最大深度的树枝都会被剪掉
min_samples_leaf	一个节点在分支后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分支就不会发生
min_samples_split	一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分支，否则分支就不会发生
max_features	max_features限制分支时考虑的特征数，超过限制个数的特征都会舍弃，默认值为总特征个数开平方再取整
min_impurity_decrease	限制信息增益的大小，信息增益小于设定数值的分支就不会发生
n_estimators	森林中数木的数量，即基评估器的数量。（越大往往效果越好，但是也会有边界波动，并且需要的计算量和内存也会越大）

在机器学习中，我们用来衡量模型在未知数据上的准确率的指标，叫做泛化误差。

当模型在未知数据（测试集或袋外数据）上表现糟糕时，说模型的泛化程度不够，泛化误差大，模型的效果不好。泛化误差受到模型结构的影响。
对于树模型来说，树越茂盛，深度越深，树枝越多，模型就越复杂。所以树模型是天生就在图的左上角的。随机森林是以树模型为基础，所以随机森林是天生复杂度高的模型。随机森林的参数，都是朝着一个目标去的：减少模型的复杂度，把模型往图像的左边移动，防止过拟合。。当然，调参没有绝对，所以在调参之前，要先判断究竟处于图像的哪一边。