交叉验证网格搜索

一、交叉验证

定义：是一种数据集的分割方法，将训练集划分为n份，拿一份做验证集（测试集）、其他n-1份做训练集。

交叉验证法原理：将数据集划分为cv=4份

1.第一次，把第一份数据做验证集，其他数据做训练

2.第二次：把第二份数据做验证集，其他数据做训练

3....以此类推，总共训练4次，评估4次

4.使用训练集+验证集多次评估模型，取平均值做交叉验证为模型得分

5.若k=5模型得分最好，再使用全部训练集(训练集+验证集)对k=5模型再训练一边，再使用测试集对k=5模型做评估

交叉验证法，是划分数据集的一种方法，目的就是为了得到更加准确可信的模型评分。

二、网格搜索

定义：是一种模型参数调优的方法。它通过穷举所有可能的参数组合，然后按照预定义的评价指标对模型进行评估，从而找到最佳参数组合。

为什么需要网格搜索？

•模型有很多超参数，其能力也存在很大的差异。需要手动产生很多超参数组合，来训练模型

•每组超参数都采用交叉验证评估，最后选出最优参数组合建立模型。

网格搜索+交叉验证的强力组合(模型选择和调优)

•交叉验证解决模型的数据输入问题(数据集划分)得到更可靠的模型

•网格搜索解决超参数的组合

•两个组合再一起形成一个模型参数调优的解决方案

三、交叉验证网格搜索

1.利用KNN算法对鸢尾花分类–交叉验证网格搜索

from sklearn.datasets import load_iris
iris_data = load_iris()
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(iris_data.data,iris_data.target,train_size=0.3,random_state=22)
from sklearn.preprocessing import StandardScaler
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
from sklearn.neighbors import KNeighborsClassifier
estimator = KNeighborsClassifier()
from sklearn.model_selection import GridSearchCV
estimator = GridSearchCV(estimator=estimator,param_grid={'n_neighbors':[1,3,5,7]},cv = 5)
estimator.fit(x_train,y_train)
print(f'estimator.best_params_:{estimator.best_params_}')
import pandas as pd
cvresults = pd.DataFrame(estimator.cv_results_)
cvresults.to_csv(path_or_buf='./cvresult.csv')
score = estimator.score(x_test,y_test)
print(f'score-->{score}')

输出：

estimator.best_params_:{'n_neighbors': 3}
score-->0.9523809523809523

2.利用KNN算法实现手写数字识别

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import joblib
from collections import Counter
 
 
def show_digit(a):
    data = pd.read_csv('data/手写数字识别.csv')
    if a >= 0 and a <= len(data) - 1:
        pass
    else:
        return
    x = data.iloc[:, 1:]
    y = data.iloc[:, 0:]
    print('数据基本信息:', x.shape)
    print('类别数据比例:', Counter(y))
    print('当前数字的标签为:', y[a])
 
    # 显示指定的图片
    # data修改为ndarray类型
    data_ = x.iloc[a].values
    # 将数据形状修改为28*28
    data_ = data_.reshape(28, 28)
    # 关闭坐标轴标签
    plt.axis('off')
    # 显示图像
    plt.imshow(data_, cmap='gary')
    plt.show()