随机森林（RF）调参实例

RF调参思想：RF模型可以理解成决策树模型嵌入到bagging框架，因此，我们首先对外层的bagging框架进行参数择优，然后再对内层的决策树模型进行参数择优。在优化某一参数时，需要把其他参数设置为常数。

(1) 训练数据集生成：

from sklearn.datasets import make_classification

X, y = make_classification(n_samples = 1000, n_features = 50, n_clusters_per_class = 1,
                          n_informative = 15, random_state = 10)

make_classification构建样本数1000和特征数50的二分类数据。

所有参数都采用默认值，查看分类情况：

from sklearn.ensemble import RandomForestClassifier
rf0 = RandomForestClassifier(oob_score = True, random_state = 10)
rf0.fit(X, y)
print(rf0.oob_score_)
print("accuracy:%f" % rf0.oob_score_)

准确率为:
accuracy:0.921000

(2) 对外层的bagging框架进行参数择优，即对n_estimators参数择优，其他参数仍然是默认值。

n_estimators参数择优的范围是1~101，步长为10，即10折交叉验证率选择最优n_estimators。

from sklearn.model_selection import GridSearchCV

param_test1 = {"n_estimators": range(1, 102, 10)}
gs1 = GridSearchCV(estimator = RandomForestClassifier(), param_grid = param_test1, scoring = 'roc_auc', cv = 10)
gs1.fit(X, y)

print(gs1.best_params_)
print("best accuracy:%f" % gs1.best_score_)

输出结果:
{‘n_estimators’: 81}
best accuracy:0.979818

因此，最佳的子决策树个数是81，准确率97.98%。

(3) 优化决策树参数的最大特征数max_features，其他参数设置为常数，且n_estimators为81。
max_features参数择优的范围1~11，步长为1，继续10折交叉验证选择最优max_features。

for i in gs1.best_params_.values():
    n_estimator1 = i

param_test2 = {"max_features": range(1, 11, 1)}
gs2 = GridSearchCV(estimator = RandomForestClassifier(n_estimators = n_estimator1, random_state = 10), param_grid = param_test2, scoring = 'roc_auc', cv = 10)

gs2.fit(X, y)

print(gs2.best_params_)
print('best accuracy:%f' % gs2.best_score_)

结果:
{‘max_features’: 10}
best accuracy:0.978998

因此，选择最佳的最大特征数为10，准确率为97.90%，相比默认的最大特征数，准确率有一个非常小的提高。决策树的其他最优参数也是按照类似的步骤去搜寻，这里就不一一介绍了。

(4) 用最优参数重新训练数据，计算泛化误差：

for i in gs1.best_params_.values():
    n_estimator2 = i

for i in gs2.best_params_.values():
    max_feature = i

rf1 = RandomForestClassifier(n_estimators = n_estimator2, max_features = max_feature, oob_score = True, random_state = 10)
rf1.fit(X, y)
print(rf1.oob_score_)
print("accuracy: %f" % rf1.oob_score_)

泛化误差:
accuracy:0.928000

总结
随机森林模型优化主要是考虑如何选择子数据集个数(n_estimators)和最大特征个数(max_features)。

首先增大n_estimators,提高模型的拟合能力，当模型的拟合能力没有明显提升的时候，则再增大max_features，提高每个子模型的拟合能力，则相应的提高了模型的拟合能力。上面的参数调优是一种比较常用的调优方法，可以应用到其他模型的参数优化过程中。