KNN算法

1：交叉验证

交叉验证是一种常用的机器学习模型评估方法，它通过将数据集分成训练集和测试集，多次重复训练和测试模型，以获得更稳健和准确的评估结果。常见的交叉验证方法包括K折交叉验证和留一交叉验证。交叉验证可以有效地评估模型的泛化能力，避免过拟合和欠拟合问题。

2：网格搜索

网格搜索是一种用于调优机器学习模型参数的方法。在网格搜索中，我们定义一个参数网格，列出我们想要调优的参数及其可能的取值。然后，网格搜索算法会尝试所有可能的参数组合，通过交叉验证来评估每个参数组合的性能，最终找到最佳的参数组合。

网格搜索是一种穷尽搜索方法，它可以帮助我们找到最优的模型参数，从而提高模型的性能和泛化能力。然而，由于需要尝试所有可能的参数组合，网格搜索的计算成本较高，特别是当参数空间较大时。为了提高效率，可以结合随机搜索等方法进行参数调优。

3：交叉验证网格搜索API

在scikit-learn库中，GridSearchCV类的API文档可以在官方网站上找到。以下是GridSearchCV类的一些主要参数和方法：

主要参数：

• estimator: 要优化的模型
• param_grid: 参数网格，包含要搜索的参数及其可能的取值
• cv: 交叉验证的折数
• scoring: 评估指标
• n_jobs: 并行运行的作业数
• verbose: 控制输出信息的详细程度

主要方法：

• fit(X, y): 运行交叉验证网格搜索
• predict(X): 使用最佳参数组合进行预测
• best_params_: 返回最佳参数组合
• best_score_: 返回最佳交叉验证分数
• 代码实现
• from sklearn.datasetsimport load_irisimport matplotlib.pyplotas pltimport pandas as pd
• from sklearn.model_selectionimport train_test_split
• from sklearn.preprocessingimport StandardScaler
• from sklearn.model_selectionimport train_test_split, GridSearchCV
• mydataset= load_iris()
• x_train, x_test, y_train,y_test= train_test_split(mydataset.data, mydataset.target,test_size=0.2,random_state=22)
• transfer = StandardScaler()x_train= transfer.fit_transform(x_train)x_test= transfer.transform(x_test)
• estimator = KNeighborsClassifier()
• param_grid= {'n_neighbors':[1,3,5,7]}
• estimator = GridSearchCV(estimator=estimator, param_grid=param_grid, cv=5)estimator.fit(x_train, y_train)
• myret=pd.DataFrame(estimator.cv_results_)myret.to_csv(path_or_buf='./mygridsearchcv.csv')
• myscore= estimator.score(x_test, y_test)
• print('myscore-->', myscore)

4:数字识别

import matplotlib.pyplotas plt

import pandas as pd

from sklearn.model_selectionimport train_test_split

from sklearn.neighborsimport KNeighborsClassifierimport joblibfrom collections import Counterdef show_digit(idx):

data = pd.read_csv(‘data/手写数字识别.csv’)if idx< 0 or idx> len(data) -1:return

x = data.iloc[:, 1:]y = data.iloc[:, 0]print(‘数据基本信息:’, x.shape)print(‘类别数据比例:’, Counter(y))print(‘当前数字的标签为:’,y[idx])

data_ = x.iloc[idx].values#将数据形状修改为28*28data_ = data_.reshape(28, 28)

plt.axis(‘off’)

plt.imshow(data_，cmap=‘gray’)

plt.show()

5：模型测试

def test_model():

img= plt.imread('data/demo.png')plt.imshow(img)

knn= joblib.load('model/knn.pth')

y_pred= knn.predict(img.reshape(1, -1))

print('您绘制的数字是:', y_pred)