11-交叉验证与网格搜索对k-近邻算法调优

交叉验证

目的：为了让被评估的模型更加准确可信

数据分类训练集和测试集，再将训练集分为训练和验证集。

• eg：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试（每次换一组作为验证集，将之前的验证当作之后的一个训练集），每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。从而，所有数据都即作为过训练集，也作为过验证集。

交叉验证一般是和网格搜索一起使用的

网格搜索

也称为超参数搜索
作用：调参（eg：k-近邻算法中的超参数）

通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

如果一个算法中有两个超参数（eg：a、b），如何进行网格搜索？
eg：a[2,3,5,8,10]、b[20,70,80] 则两两组合（15组），进行交叉验证

api：from sklearn.model_selection import GridSearchCV

案例一：

from sklearn.model_selection import GridSearchCV

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris
def knncls():
    """
    k-近邻预测用户签到位置
    :return: None
    """
    #读取数据
    data = pd.read_csv("./train.csv")
    #处理数据
        #缩小数据范围
    data = data.query("x > 1.0 & x < 1.25 & y > 2.5 &  7 < 2.75")
        #处理时间的数据pd.to_datatime:把时间戳转换成日期格式
    time_value = pd.to_datetime(data["time"], unit="s")
        #把日期格式转换成字典格式，以可以获得时、分、秒等数据
    time_value = pd.DatetimeIndex(time_value)
        #构造一些特征
    data["day"] = time_value.day  #增加列：注意，数据的量应当一样
    data["hour"] = time_value.hour
    data["weekday"] = time_value.weekday
        #把时间戳删除
    data.drop(['time'], axis=1) #注意：pandas和sklearn中的列不一样，sklearn中是1表时列
    """注意：在pd中每一步操作都有返回值"""
        #把签到数量少于n个目标位置删除
    place_count = data.groupby("place_id").count()  #此时，place_id就变成了索引
    tf = place_count[place_count.row_id > 3].reset_index()  #reset_index将索引变成一列数据。索引就变成了0、1、2...
    data = data[data['place_id'