KNN交叉验证

概念

交叉验证

是一种数据集的分割方法，将训练集划分为 n份，拿一份做验证集 （测试集）、其他n-1份做训练集。交叉验证法，是划分数据集的一种方法，目的就是为了得到更加准确可信的模型评分。

原理：将数据集划分为 cv=4份

1. 第一次：把第一份数据做验证集，其他数据做训练 2. 第二次：把第二份数据做验证集，其他数据做训练 3. ... 以此类推，总共训练4次，评估4次。 4. 使用训练集+验证集多次评估模型，取平均值做交叉验证为模型得分 5. 若k=5模型得分最好，再使用全部训练集(训练集+验证集) 对k=5模型再训练 一边，再使用测试集对k=5模型做评估

网格搜索

网格搜索是模型调参的有力工具。只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估， 最终返回一组最优的超参数。（就像暴力枚举）

鸢尾花交叉验证 

##数据加载
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import GridSearchCV##交叉验证
import pandas as pd
iris_data = load_iris()
print(iris_data)

##数据划分
x_train, x_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target, test_size=0.3, random_state=22)
##数据预处理（标准化）
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)
##实例化
estimator = KNeighborsRegressor()
##交叉验证
estimator = GridSearchCV(estimator=estimator,param_grid={'n_neighbors':[1,3,5,7]},cv=5)
estimator.fit(x_train,y_train)
m = estimator.best_estimator_
print(m)
##模型训练及评估
cv_result = pd.DataFrame(estimator.cv_results_)
cv_result.to_csv(path_or_buf='./cv_result')
score = estimator.score(x_test,y_test)
print(score)

利用KNN实现手写数据识别

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import joblib
from collections import Counter
def show_digit(idx):
# 1加载数据
    data = pd.read_csv('.data/手写数字识别.csv')
    if idx< 0 or idx> len(data) -1:
        return
# 2打印数据基本信息
    x = data.iloc[:, 1:]
    y = data.iloc[:, 0]
    print('数据基本信息:', x.shape)
    print('类别数据比例:', Counter(y))
    print('当前数字的标签为:',y[idx])
# 3显示指定的图片
# data修改为ndarray类型
    data_ = x.iloc[idx].values
#将数据形状修改为28*28
    data_ = data_.reshape(28, 28)
#关闭坐标轴标签
    plt.axis('off')
#显示图像
    plt.imshow(data_,cmap='gray')
    plt.show()