十、（1）K-近邻预测签到位置。初步了解欠拟合和过拟合问题。

十、（1）K-近邻预测签到位置。初步了解欠拟合和过拟合问题。

本文数据集在kaggle上下载，下载比较麻烦。需要的可以发邮箱。

K-近邻预测用户签到位置

（解决拟合问题，运用交叉验证和网格搜索方法）
（数据来源为kaggle，编译器为spyder）

文章思路：

1.原始预测方法，使用python调用k-近邻算法预测。
2.比较测试集和训练集的准确率，目的在于分析模型是否存在欠拟合或者过拟合问题。
3.提出解决方案，重新选取模型预测，提高准确率。

操作步骤：

1、原始预测方法，使用python调用k-近邻算法预测。
执行训练集代码一，查看结果。

训练集预测的准确率: 0.5777112232030265
测试集预测的准确率: 0.39905437352245865

2、比较测试集和训练集的准确率，目的在于分析模型是否存在欠拟合或者过拟合问题。
欠拟合：训练集和测试集的表现都不好。
（模型过于简单）
过拟合：训练集表现好，测试集表现不好。（模型过于复杂）

在上图结果中，二者的准确率都不高，根据拟合定义，我们可以理解为欠拟合现象，但是我个人认为此处还应根据实际情况判断，假如某一项目有规定的误差范围，如上述两个准率在该范围内，我们也可以视其为过拟合。

3、提出解决方案，重新选取模型预测，提高准确率。
执行代码二，利用交叉验证和网格搜索选取最优K值。

选择最好的模型是：
KNeighborsClassifier
(algorithm=‘auto’,
leaf_size=30,
metric=‘minkowski’,
metric_params=None,
n_jobs=1,
n_neighbors=10,
p=2,
weights=‘uniform’)

代码一：

# -*- coding: utf-8 -*-
"""
Created on Sun May 26 21:34:29 2019

@author: sun
"""

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
import pandas as pd


"""
K-近邻预测用户签到位置
:return:None
"""
# 读取数据
data = pd.read_csv("./train.csv")

# print(data.head(10))

# 处理数据
# 1、缩小数据,查询数据晒讯
data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

# 处理时间的数据
time_value = pd.to_datetime(data['time'], unit='s')

#print(time_value)

# 把日期格式转换成 字典格式
time_value = pd.DatetimeIndex(time_value)

    # 构造一些特征
data['day'] = time_value.day
data['hour'] = time_value.hour
data['weekday'] = time_value.weekday

    # 把时间戳特征删除
data = data.drop(['time'], axis=1)

#print(data)

    # 把签到数量少于n个目标位置删除
place_count = data.groupby('place_id').count()

tf = place_count[place_count.row_id > 3].reset_index()

data = data[data['place_id'].isin(tf.place_id)]

    # 取出数据当中的特征值和目标值
y = data['place_id']

x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
x_train = std.fit_transform(x_train)

x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
knn = KNeighborsClassifier()

# # fit， predict,score
knn.fit(x_train, y_train)
    #
# # 得出预测结果
y_predict = knn.predict(x_test)
    #
#print("预测的目标签到位置为：", y_predict)
    #
    # # 得出准确率
print("训练集预测的准确率:", knn.score(x_train, y_train))
print("测试集预测的准确率:", knn.score(x_test, y_test))

代码二：

# -*- coding: utf-8 -*-
"""
Created on Sun May 26 21:34:29 2019

@author: sun
"""

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
import pandas as pd


"""
K-近邻预测用户签到位置
:return:None
"""
# 读取数据
data = pd.read_csv("./train.csv")

# print(data.head(10))

# 处理数据
# 1、缩小数据,查询数据晒讯
data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

# 处理时间的数据
time_value = pd.to_datetime(data['time'], unit='s')

print(time_value)

# 把日期格式转换成 字典格式
time_value = pd.DatetimeIndex(time_value)

    # 构造一些特征
data['day'] = time_value.day
data['hour'] = time_value.hour
data['weekday'] = time_value.weekday

    # 把时间戳特征删除
data = data.drop(['time'], axis=1)

print(data)

    # 把签到数量少于n个目标位置删除
place_count = data.groupby('place_id').count()

tf = place_count[place_count.row_id > 3].reset_index()

data = data[data['place_id'].isin(tf.place_id)]

    # 取出数据当中的特征值和目标值
y = data['place_id']

x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
x_train = std.fit_transform(x_train)

x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
knn = KNeighborsClassifier()

# # fit， predict,score
 # knn.fit(x_train, y_train)
    #
# # 得出预测结果
# y_predict = knn.predict(x_test)
    #
    # print("预测的目标签到位置为：", y_predict)
    #
    # # 得出准确率
    # print("预测的准确率:", knn.score(x_test, y_test))

    # 构造一些参数的值进行搜索
param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
gc = GridSearchCV(knn, param_grid=param, cv=2)

gc.fit(x_train, y_train)

    # 预测准确率,此处准确率和交叉验证没有关系
print("在测试集上准确率：", gc.score(x_test, y_test))

print("在交叉验证当中最好的结果：", gc.best_score_)

print("选择最好的模型是：", gc.best_estimator_)

print("每个超参数每次交叉验证的结果：", gc.cv_results_)

搞定收工。

“☺☺☺ 若本篇文章对你有一丝丝帮助，请帮顶、评论点赞，谢谢。☺☺☺”

↓↓↓↓