10机器学习——k近邻算法

10机器学习——分类算法之k近邻算法

所在蓝色方块位置的人想知道自己在哪里，可以根据和其他人的一个距离，来判断自己大概在哪个区

这就是k近邻算法的一个思想：根据你的“邻居”推断你的类别

例如：


第二部电影与未知电影距离最近，推断出未知电影类型为爱情片

距离如何求？

未知电影和第一部电影California Man的距离：根号（18-3）²+（9-104）²=20.5
相似的样本，特征之间的值应该都是相近的

K-近邻算法需要做标准化处理，标准化处理是防止某一特征对结果的影响很大

k的取值会影响最后的结果：
k取1时，最近的是18.7，推断为爱情片
k取3时，最近的是前三部电影，推断为爱情片
k取5时，最近的五部电影中，有三部是爱情片，两部是动作片，虽然最后推断为爱情片，但是它的比例下降了
k取6时，爱情片：动作片=3：3，没办法判断

就好比如果这个酒店入住人数很少，就没有必要去推荐这个酒店

from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
def knncls():
    """
    k-近邻预测用户签到位置
    :return:None
    """
    #读取数据
    data=pd.read_csv(r"C:\Users\15743\PycharmProjects\learnPacChong\data\FBlocation\train.csv")
    # print(data.head(10))
    #处理数据
    #1.缩小数据，查询数据筛选
    data=data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")

    #处理时间的数据
    time_value=pd.to_datetime(data['time'],unit='s')
    # print(time_value)#因为年月都一样，所以没有必要选为新的特征

    #把日期格式转换成 字典格式
    time_value=pd.DatetimeIndex(time_value)

    #构造一些特征(相当于新增一列)
    data['day']=time_value.day
    data['hour']=time_value.hour
    data['weekday']=time_value.weekday

    #把时间戳特征删除
    data=data.drop(['time'],axis=1)#跟之前不同，这里1表示列
    # print(data)

    #把签到数量少于n个目标位置删除
    place_count=data.groupby('place_id').count()#以place_id 分组，统计次数
    tf=place_count[place_count.row_id>3].reset_index()#把次数大于3的保留下来，再重设index
    data=data[data['place_id'].isin(tf.place_id)]

    #取出数据当中的特征值和目标值
    y=data['place_id']#y 目标值
    x=data.drop(['place_id'],axis=1)

    #进行数据的分割，训练集和测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)

    #特征工程（标准化）
    std=StandardScaler()

    #对测试集和训练集的特征值进行标准化
    x_train=std.fit_transform(x_train)
    x_test=std.transform(x_test)

    #进行算法流程
    knn=KNeighborsClassifier(n_neighbors=5)

    #fit,predict,score
    knn.fit(x_train,y_train)

    #得出预测结果
    y_predict=knn.predict(x_test)

    print("预测的目标签到位置为：",y_predict)

    #得出准确率
    print("预测的准确率：",knn.score(x_test,y_test))#没做标准化，准确率低，3%,标准化之后准确率40%

    return None
 
 
if __name__=="__main__":
    knncls()

结果：


性能问题是它的一个缺点，数量很大时，时间复杂度也很高