【个人学习用】利用随机森林学习调参总结

按照这个博主写的进行了学习，在文章的后半段开始有调参的过程，前半段为随机森林的基础知识。https://www.jianshu.com/p/8a2e4e2872c8
数据集：sklearn自带的乳腺癌数据
涉及内容：sklearn，随机森林，交叉验证与网格搜索，调参的方法

## 用sklearn 自带的乳腺癌数据进行随机森林的调参学习
## 调参先根据前人经验入手
## 对于random forest来说一般调参是针对降低模型复杂度，因为大部分树类的模型，模型复杂度都很高，容易过拟合，准确度当然也高，但泛化误差也高。
## 有时候调参会依赖于数据集
## 调参后达到最大限度的准确度，若还想提升，只能换算法
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import GridSearchCV
import matplotlib.pyplot as plt
import numpy as np


## 准确的做法应该是先将数据集分成训练集喝测试集，然后把训练集用到以下调参中
## 数据的导入
data=load_breast_cancer()
x=data.data
y=data.target
# print(data.data.shape) (569, 30)
# print(data.target)

## 进行粗略的调参,对泛化误差影响最大的超参数n_estimators调参
scores=[]
for i in range(0,200,10):
    rf=RandomForestClassifier(n_estimators=i+1,random_state=0)
    score=cross_val_score(rf,x,y,cv=10).mean()
    scores.append(score)

## 打印最高分数，以及对应的参数
print('最高分数：{}，对应的n_estimators为{}'.format(max(scores),(scores.index(max(scores))*10)+1))

##画学习曲线
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scores)
plt.xlabel('n_estimators')
plt.ylabel('score')
# plt.legend()
plt.title('learning curve')
plt.show()
## 之后可以根据曲线拐弯点，进一步细分参数,如确定n_estimater的参数为39

## 下一步用网格搜索，来确定random forest的其他超参数

##调整max_depth,结果是准确度下降，根据泛化误差曲线，以及max_depth前人给出的经验（默认用的是最大，max_depth越小，模型复杂度减小）
##说明此时位于泛化误差曲线的最低点偏左，之后只要找能往右移的超参数即可（能做到的只有max_features，调的时候max_depth保持原来的值)
param_grid={'max_depth':np.arange(1,20,1)}
rf=RandomForestClassifier(n_estimators=39,random_state=0)
## 与交叉验证结合的网格搜索
gs=GridSearchCV(rf,param_grid,cv=10)
gs.fit(data.data,data.target)
# print(gs.best_score_)  0.9613721804511279
# print(gs.best_params_) {'max_depth': 8}