交叉验证网格搜索
介绍及步骤
交叉验证网格搜索(cross-validation grid search)是一种机器学习模型超参数优化的方法。它结合了网格搜索和交叉验证两种技术,以寻找最佳的模型超参数组合。下面是这种方法的基本步骤:
-
定义超参数空间:首先,需要确定模型的超参数范围。这些超参数是模型的内部参数,不是通过训练数据直接学习得到的,而是通过调整来优化模型性能的参数。
-
创建网格:基于这些超参数的范围,创建一个超参数的网格。每个网格点代表一个可能的超参数组合。
-
交叉验证:对于网格中的每一个超参数组合,使用交叉验证来评估模型的性能。交叉验证是将数据集分成多个子集,然后对每个子集作为测试集,其余作为训练集,重复这个过程多次并计算模型的平均性能。
-
性能评估:在每次交叉验证后,记录下模型的性能指标,如准确率、F1分数等。
-
选择最佳组合:在所有交叉验证完成后,选择平均性能最好的超参数组合。
-
最终模型训练:使用选定的最佳超参数组合在整个训练集上训练最终的模型。
代码实现
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
def dm01_鸢尾花knn分类_交叉验证网格搜索():
# 1 获取数据集
mydataset = load_iris()
# 2 数据基本处理-划分数据集
x_train, x_test, y_train ,y_test = train_test_split(mydataset.data, mydataset.target, test_size=0.2,random_state=22)
# 3 数据集预处理-数据标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4 机器学习(模型训练)
estimator = KNeighborsClassifier()
print('estimator-->', estimator)
# 4-2 使用校验验证网格搜索
param_grid = {'n_neighbors':[1,2,3,4,5,6,7,8,9]}
# 输入一个estimator, 出来一个estimator(功能变的强大)
estimator = GridSearchCV(estimator=estimator, param_grid=param_grid, cv=9)
estimator.fit(x_train, y_train) # 4个模型 每个模型进行网格搜素找到做好的模型
# 4-3 交叉验证网格搜索结果查看
# estimator.best_score_ .best_estimator_ .best_params_ .cv_results_
print('estimator.best_score_---', estimator.best_score_)
print('estimator.best_estimator_---', estimator.best_estimator_)
print('estimator.best_params_---', estimator.best_params_)
print('estimator.cv_results_---', estimator.cv_results_)
# 4-4 保存交叉验证结果
myret = pd.DataFrame(estimator.cv_results_)
myret.to_csv(path_or_buf='./mygridsearchc=v.csv')
# 5 模型评估
myscore = estimator.score(x_test, y_test)
print('myscore-->', myscore)
dm01_鸢尾花knn分类_交叉验证网格搜索()
利用KNN算法实现手写数字识别
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import joblib
from collections import Counter
def show_digit(idx):
# 1 加载数据
data = pd.read_csv("C:\\Users\\30692\\Desktop\\人工智能\\资料\\手写数字识别.csv")
if idx < 0 or idx > len(data) - 1:
return
# 2 打印数据基本信息
x = data.iloc[:, 1:]
y = data.iloc[:, 0]
print('数据基本信息:', x.shape)
print('类别数据比例:', Counter(y))
print('当前数字的标签为:', y[idx])
# 3 显示指定的图片 # data修改为ndarray 类型
data_ = x.iloc[idx].values
# 将数据形状修改为 28*28
data_ = data_.reshape(28, 28)
# 关闭坐标轴标签
plt.axis('off')
# 显示图像
plt.imshow(data_,cmap ='gray')
plt.show()
#show_digit(6)
def train_model():
# 1 加载手写数字数据集
data = pd.read_csv('C:\\Users\\30692\\Desktop\\人工智能\\资料\\手写数字识别.csv')
# 2 数据预处理 归一化
x = data.iloc[:, 1:] / 255
y = data.iloc[:, 0]
# 3 分割数据集
split_data = train_test_split(x, y, test_size=0.2, stratify=y, random_state=0)
x_train, x_test, y_train, y_test = split_data
# 4 模型训练
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(x_train, y_train)
# 5 模型评估
acc = estimator.score(x_test, y_test)
print('测试集准确率: %.2f' % acc)
# 6 模型保存
joblib.dump(estimator, 'knn.pth.csv')
train_model()
def test_model():
# 1 读取图片数据
img = plt.imread("C:\\Users\\30692\\Desktop\\人工智能\\资料\\0.png")
plt.imshow(img)
# 2 加载模型
knn = joblib.load('knn.pth.csv')
# 3 预测图片
y_pred = knn.predict(img.reshape(1, -1))
print('您绘制的数字是:', y_pred)
test_model()