模型选择与调优
1、交叉验证
2、网格搜索
交叉验证(为了让被评估的模型更加准确可信)
之前把数据分为训练集和测试集,交叉验证为了让模型更加可信,所有这时候我们会把训练集分为训练集和验证集,在训练集中训练,然后通过验证集看预测模型的精度。
然后求四个模型的准确率的平均值
这里分成了四等分,就是4折交叉验证
交叉验证过程:
交叉验证:将拿到的数据,分为训练和验证集。以下图为例:将数据分
成5份,其中一份作为验证集。然后经过5次(组)的测试,每次都更换不同
的验证集。即得到5组模型的结果,取平均值作为最终结果。又称5折交叉
验证。
网格搜索 (调参数)
超参数搜索-网格搜索:
通常情况下,有很多参数是需要手动指定的(如k-近邻算法中的K值),
这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组
合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建
立模型。
超参数搜索-网格搜索API:sklearn.model_selection.GridSearchCV
sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
对估计器的指定参数值进行详尽搜索
estimator:估计器对象
param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}
cv:指定几折交叉验证
fit:输入训练数据
score:准确率
结果分析:
best_score_:在交叉验证中测试的最好结果
best_estimator_:最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果
例子:k近邻算法就行超参数网格验证
from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV
def knncls():
"""k-近邻预测用户签到位置"""
#读取数据
data=pd.read_csv("文件路径")
print(data.head(10))
#处理数据
#1.缩小数据 query()查询数据筛选
data=data.query("x > 1.0 & x < 1.25 & y >2.5 & y < 2.75")
#2.处理时间的数据 unit转换格式默认s
time_value=pd.to_datetime(data['time'],unit='s')
print(time_value)
#把日期格式转换成字典格式
time_value=pd.DatetimeIndex(time_value)
#3.构造一些特征
data['day']=time_value.day
data['hour']=time_value.hour
data['weekday']=time_value.weekday
#把原来时间戳删除 label参数 删除只需要传入特征标签名字 按照列删除
data=data.drop(['time'],axis=1)
print(data)
#把签到数量少于n个的目标位置删除 place_count 索引
place_count = data.groupby('place_id').aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
#取出数据中的特征值和目标值 y目标值
y=data['place_id']
x=data.drop(['place_id'],axis=1)
#进行数据的分割训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
#特征工程(标准化)
std=StandardScaler()
#对测试集和训练集的特征值进行标准化
x_train=std.fit_transform(x_train)
x_test=std.fit_transform(x_test)
#进行算法流程 #超参数
knn=KNeighborsClassifier()
#构造一些参数的值进行搜索
param={"n_neighbors":[3,5,10]}
#进行网格搜索
gc=GridSearchCV(knn,param_grid=param,cv=2)
gc.fit(x_train,y_train)
#预测准确率
print("在测试集中的准确率:",gc.score(x_test,y_test))
print("在交叉验证中最好的结果:",gc.best_score_)
print("选择最好的模型是:",gc.best_estimator_)
print("每个超参数每次交叉验证的结果:",gc.cv_results_)
return None
if __name__ == '__main__':
knncls()
这里我们可以看到k近邻算法中最有参数是10,在我们给的3,5,10中。