交叉验证网格搜索及利用KNN算法实现手写数字识别

交叉验证网格搜索

介绍及步骤

交叉验证网格搜索（cross-validation grid search）是一种机器学习模型超参数优化的方法。它结合了网格搜索和交叉验证两种技术，以寻找最佳的模型超参数组合。下面是这种方法的基本步骤：

1. 定义超参数空间：首先，需要确定模型的超参数范围。这些超参数是模型的内部参数，不是通过训练数据直接学习得到的，而是通过调整来优化模型性能的参数。

2. 创建网格：基于这些超参数的范围，创建一个超参数的网格。每个网格点代表一个可能的超参数组合。

3. 交叉验证：对于网格中的每一个超参数组合，使用交叉验证来评估模型的性能。交叉验证是将数据集分成多个子集，然后对每个子集作为测试集，其余作为训练集，重复这个过程多次并计算模型的平均性能。

4. 性能评估：在每次交叉验证后，记录下模型的性能指标，如准确率、F1分数等。

5. 选择最佳组合：在所有交叉验证完成后，选择平均性能最好的超参数组合。

6. 最终模型训练：使用选定的最佳超参数组合在整个训练集上训练最终的模型。

代码实现

from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier

def dm01_鸢尾花knn分类_交叉验证网格搜索():
# 1 获取数据集
    mydataset = load_iris()
# 2 数据基本处理-划分数据集
    x_train, x_test, y_train ,y_test = train_test_split(mydataset.data, mydataset.target, test_size=0.2,random_state=22)
# 3 数据集预处理-数据标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
# 4 机器学习(模型训练)
    estimator = KNeighborsClassifier()
    print('estimator-->', estimator)
# 4-2 使用校验验证网格搜索
    param_grid = {'n_neighbors':[1,2,3,4,5,6,7,8,9]}
# 输入一个estimator, 出来一个estimator(功能变的强大)
    estimator = GridSearchCV(estimator=estimator, param_grid=param_grid, cv=9)
    estimator.fit(x_train, y_train) # 4个模型 每个模型进行网格搜素找到做好的模型
# 4-3 交叉验证网格搜索结果查看
# estimator.best_score_ .best_estimator_ .best_params_ .cv_results_
    print('estimator.best_score_---', estimator.best_score_)
    print('estimator.best_estimator_---', estimator.best_estimator_)
    print('estimator.best_params_---', estimator.best_params_)
    print('estimator.cv_results_---', estimator.cv_results_)
# 4-4 保存交叉验证结果
    myret = pd.DataFrame(estimator.cv_results_)
    myret.to_csv(path_or_buf='./mygridsearchc=v.csv')
# 5 模型评估
    myscore = estimator.score(x_test, y_test)
    print('myscore-->', myscore)
dm01_鸢尾花knn分类_交叉验证网格搜索()

利用KNN算法实现手写数字识别

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import joblib
from collections import Counter
def show_digit(idx):
    # 1 加载数据
    data = pd.read_csv("C:\\Users\\30692\\Desktop\\人工智能\\资料\\手写数字识别.csv")
    if idx < 0 or idx > len(data) - 1:
        return
        # 2 打印数据基本信息
    x = data.iloc[:, 1:]
    y = data.iloc[:, 0]
    print('数据基本信息:', x.shape)
    print('类别数据比例:', Counter(y))
    print('当前数字的标签为:', y[idx])
    # 3 显示指定的图片 # data修改为ndarray 类型
    data_ = x.iloc[idx].values
    # 将数据形状修改为 28*28
    data_ = data_.reshape(28, 28)
    # 关闭坐标轴标签
    plt.axis('off')
    # 显示图像
    plt.imshow(data_,cmap ='gray')
    plt.show()
#show_digit(6)

def train_model():
    # 1 加载手写数字数据集
    data = pd.read_csv('C:\\Users\\30692\\Desktop\\人工智能\\资料\\手写数字识别.csv')
    # 2 数据预处理 归一化
    x = data.iloc[:, 1:] / 255
    y = data.iloc[:, 0]
# 3 分割数据集
    split_data = train_test_split(x, y, test_size=0.2, stratify=y, random_state=0)
    x_train, x_test, y_train, y_test = split_data
# 4 模型训练
    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train, y_train)
# 5 模型评估
    acc = estimator.score(x_test, y_test)
    print('测试集准确率: %.2f' % acc)
# 6 模型保存
    joblib.dump(estimator, 'knn.pth.csv')
train_model()

def test_model():
    # 1 读取图片数据
    img = plt.imread("C:\\Users\\30692\\Desktop\\人工智能\\资料\\0.png")
    plt.imshow(img)
# 2 加载模型
    knn = joblib.load('knn.pth.csv')
# 3 预测图片
    y_pred = knn.predict(img.reshape(1, -1))
    print('您绘制的数字是:', y_pred)
test_model()