sklearn之Model Selection 估计器

Model Selection 估计器

模型选择 (Model Selction) 在机器学习非常重要，它主要用于评估模型表现，常见的 Model Selection 估计器有以下几个：

• cross_validate: 评估交叉验证的表现。

• learning_curve: 建立学习曲线。   

• GridSearchCV: 用交叉验证从网格中一组超参数搜索出最佳超参数。

• RandomizedSearchCV: 用交叉验证从一组随机超参数搜索出最佳超参数。

交叉验证

K-折交叉验证集 (K-fold cross validation set)，就是把整个数据集平均但随机分成 K 份，每份大概包含 m/K 个数据 (m 是总数据数)。

在这 K 份，每次选 1 份作为训练集在拟合参数 w λ ，把参数用在剩下 K-1 份验证集上计算误差。由于遍历了这 K 份数据，因此该操作称为交叉验证。

两个调参的估计器，网格追踪和随机追踪。

网格追踪：参数 1 在 [1, 10, 100, 1000] 中取值，参数 2 在 [0.01, 0.1, 1 10] 中取值，注意并不是等间距取值。模型在所有 16 个组合跑，选取一对对应最小交叉验证误差的参数。

随机追踪：根据指定分布随机搜索，可以选择独立于参数个数，比如 log(参数 1) 服从 0 到 3 的均匀分布， log(参数 2) 服从 -2 到 1 的均匀分布。此外，会设定一个预算参数。

from time import time
from scipy.stats import randint
from sklearn.datasets import load_digits
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import  RandomForestClassifier
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

digits = load_digits()
X,y=digits.data,digits.target
RFC=RandomForestClassifier(n_estimators=20)


#Randomized Search
#创建一个含 20 个决策树的随机森林模型，那么它有超参数最大树深、最多特征数、最小可分裂样本数、和分裂标准。
param_dist={"max_depth":[3,5],"max_features":randint(1,11),"min_samples_split":randint(2,11),"criterion":["gini","entropy"]}
#设定了个迭代组数 n_iter_search=20
n_iter_search=20
random_search=RandomizedSearchCV(RFC,param_distributions=param_dist,n_iter=n_iter_search,cv=5)
start=time()

random_search.fit(X,y)
print(random_search.best_params_)
print(random_search.best_score_)

#Grid Search
param_grid={"max_depth":[3,5],"max_features":[1,3,10],"min_samples_split":[2,3,10],"criterion":["gini","entropy"]}

grid_search=GridSearchCV(RFC,param_grid=param_grid,cv=5)
grid_search.fit(X,y)
print(grid_search.best_params_)
print(grid_search.best_score_)
#随机追踪比网格追踪用更短时间内找到一组超参数，获得了更高的得分

 

测试结果：

F:\开发工具\pythonProject\tools\venv\Scripts\python.exe F:/开发工具/pythonProject/tools/python的sklear学习/sklearn06.py
{'criterion': 'entropy', 'max_depth': 5, 'max_features': 10, 'min_samples_split': 3}
0.888706282884556
{'criterion': 'entropy', 'max_depth': 5, 'max_features': 10, 'min_samples_split': 2}
0.8981770349736923

Process finished with exit code 0