分类算法——模型选择与调优（三）

交叉验证

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中
一份作为验证集。然后经过4次（组）的测试，每次都更换不同的验证集。即得到4组模型的
结果，取平均值作为最终结果。又称4折交叉验证。

1分析
我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理

• 训练集：训练集+验证集
• 测试集：测试集
  
  2为什么需要交叉验证
  交叉验证目的：为了让被评估的模型更加准确可信

问题：那么这个只是对于参数得出更好的结果，那么怎么选择或者调优参数呢?

超参数搜索-网格搜索(Grid Search)

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。
但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

1模型选择与调优API

• sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)
  • 估计器的指定参数值进行详尽搜索
  • estimator：估计器对象
  • param_grid：估计器参数(dict){“n_neighbors":[1,3,5]}
  • cv：指定几折交叉验证
  • fit()：输入训练数据
  • score()：准确率
  • 结果分析：
    • 最佳参数：best_params_
    • 最佳结果：best_score_
    • 最佳估计器：best_estimator_
    • 交叉验证结果：cv_results_

鸢尾花案例增加K值调优

• 使用GridSearchCV构建估计器

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

def knn_iris_gscv():
	//1)获取数据
	iris=load_iris()
	//2)划分数据集
	x_train, x_test, y_train, y_test=train_test_split(iris.data, iris.target, random_state=22)
	
	//3)特征工程:标准化
	transfer=StandardScaler()
	x train=transfer.fit_transform(x_train)
	x_test=transfer.transform(x_test)
	
	//4)KNN算法预估器
	estimator=KNeighborsClassifier()
	//加入网格搜索与交叉验证
	param_dict ={"n_neighbors":[1,3,5,7,9,11]}
	estimator=GridSearchCV(estimator,param_grid=param_dict,cv=10)
	
	estimator.fit(x_train,y_train)
	
	//5)模型评估
	//方法1:直接比对真实值和预测值
	y_predict=estimator.predict(x_test)
	print("y_predict:\n",y_predict)
	print("直接比对真实值和预测值:\n",y_test==y_predict)
	
	//方法2:计算准确率
	score=estimator.score(x_test,y_test)
	print("准确率为:\n",score)
	
	//最佳参数:best_params_
	print("最佳参数:\n",estimator.best_params_)
	//最佳结果:best_score_
	print("最佳结果:\n",estimator.best_score_)
	//最佳估计器:best_estimatir_
	print("最佳估计器:\n",estimator,best_estimator_)
	//交叉验证结果:cv_results_
	print("交叉验证结果:\n",estimator.cv_results_)

	return None

案例:预测facebook签到位置

1数据集介绍
File descriptions
数据介绍：将根据用户的位置，准确性和时间戳预测用户正在查看的业务

官网：https://www.kagge.com/navoshta/grid-knn/data

2实践

import pandas as pd

// 1、获取数据
data=pd.read_csv("./rBlocation/train.csv")

//基本的数据处理
//1)缩小数据范围
data=data.query("x<2.5 & x>1.5 & y>1.0 & y<1.5")

//2)处理时间特征
time_value=pd.to_datetime(data["time"],unit="s")
date=pd.DatetimeIndex(time_value)
//添加需要的项
data["day"]=date.day
data["weekday"]=date.weekday
data["hour"]=date.hour

//3)过滤签到次数少的地点
place_count=data.groupby("place_id").count()["row_id"]
data["place_id"].isin(place_count[place_count >3].index.values)
data_final=data[data["place_id"].isin(place_count[place_count >3].index.values)]

//筛选特征值和目标值
x=data_final[["x","y","accuracy","day","weekday","hour"]]
y=data_final["place_id"]

//数据集划分
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y)

from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridsearchCV

//3)特征工程:标准化
transfer=StandardScaler()
x train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)
	
//4)KNN算法预估器
estimator=KNeighborsClassifier()
//加入网格搜索与交叉验证
param_dict ={"n_neighbors":[1,3,5,7,9,11]}
estimator=GridSearchCV(estimator,param_grid=param_dict,cv=3)
estimator.fit(x_train,y_train)
	
//5)模型评估
//方法1:直接比对真实值和预测值
y_predict=estimator.predict(x_test)
print("y_predict:\n",y_predict)
print("直接比对真实值和预测值:\n",y_test==y_predict)
	
//方法2:计算准确率
score=estimator.score(x_test,y_test)
print("准确率为:\n",score)
	
//最佳参数:best_params_
print("最佳参数:\n",estimator.best_params_)
//最佳结果:best_score_
print("最佳结果:\n",estimator.best_score_)
//最佳估计器:best_estimatir_
print("最佳估计器:\n",estimator,best_estimator_)
//交叉验证结果:cv_results_
print("交叉验证结果:\n",estimator.cv_results_)