机器学习算法基础4-K-近邻算法、朴素贝叶斯算法、分类模型评估、模型的选择与调优3-sklearn数据集与估计器

一、K-近邻算法

1.定义

定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
通俗来说，就是根据你的邻居来推断你的类别
来源：KNN算法最早是由Cover和Hart提出的一种分类算法

2.计算距离公式（欧氏距离）（重点）

相似的样本，特征之间的值应该都是相近的

两个样本的距离可以通过如下公式计算，又叫欧式距离
比如说，a(a1,a2,a3),b(b1,b2,b3)
√((a1-b1)^2+(a2-b2)^2+(a3-b3)^2 )
相似的样本，特征值应该是相近的

K-近邻算法需要对数据作标准化处理

3.sklearn k-近邻算法API

sklearn k-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
# 参数
n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数

algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：
‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。
‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

4.K-近邻算法实例-预测入住位置

实例流程：
1、数据集的处理
2、分割数据集
3、对数据集进行标准化
4、estimator流程进行分类预测


数据的处理-由于数据过大，做如下处理
1、缩小数据集范围
DataFrame.query()
2、处理日期数据
pd.to_datetime
pd.DatetimeIndex
3、增加分割的日期数据
4、删除没用的日期数据
pd.drop
5、将签到位置少于n个用户的删除
place_count =data.groupby('place_id').aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]

# K-近邻算法实例-预测入住位置

from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import numpy as np

def knncls():
    '''K-近邻算法-预测用户入住位置
    return None
    '''
    # 一、数据集的处理
    # 读取数据
    data = pd.read_csv(r'C:\Users\admin\Desktop\v-predicting\train.csv')
    # 处理数据
    # 1.缩小数据-缩小数据集范围 DataFrame.query()查询数据筛选
    data = data.query('x>1.0 & x<1.25 & y>2.5 & y<2.75')

    # 2.处理时间数据
    time_value = pd.to_datetime(data['time'],unit='s')

    # 3、增加分割的日期数据
    # 把日期格式转化成字典格式
    time_value = pd.DatetimeIndex(time_value)
    # 根据时间  构造一些特征
    data.loc[:,'day'] = time_value.day
    data.loc[:,'hour'] = time_value.hour
    data.loc[:,'weekday'] = time_value.weekday


    # 4、删除没用的日期数据
    # 把时间戳特征删除,axis的重点在于方向而不在于行或列
        # axis = 0表示纵轴表示数据的变化从上至下，体现在行的增加与减少
        # axis = 1表示横轴表示数据的变化从左至右，体现在列的增加与减少
    data = data.drop(labels='time', axis=1)

    # 5.将签到位置少于n个用户的删除
    place_count = data.groupby('place_id').count()
    tf = place_count[place_count.row_id > 3].reset_index()
    # 过滤后的表格
    data = data[data['place_id'].isin(tf.place_id)]

    # 删除无用的row_id
    data = data.drop(labels='row_id', axis=1)
    print(data)

    # 取出数据中的目标值和特征值
    y = data["place_id"]
    x = data.drop(labels = 'place_id',axis=1)

    # 二、分割数据集
    # 进行数据的分割-训练集测试集
    x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.25)

    # 三、对数据集进行标准化
    # 特征工程（标准化）
    std = StandardScaler()

    # 对训练集与