K-近邻（考试版3）

K-近邻分类算法案例
我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选,但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人：“不喜欢的人”、“魅力一般的人”以及“极具魅力的人”。尽管发现了上述规律,但海伦依然无法将约会网站推荐的匹配对象归人恰当的分类。她觉得可以在周一到周五约会那些魅力一般的人，而周末则更喜欢与那些极具魅力的人为伴。海伦希望我们的分类软件可以更好地帮助她将匹配对象划分到确切的分类中。此外海伦还收集了一些约会网站未曾记录的数据信息,她认为这些数据更有助于匹配对象的归类。
1.数据准备
海伦收集约会数据已经有了一段时间，她把这些数据存放在文本文件dating TestSet. txt中,每个样本数据占据一行，总共有1006海伦的样本主要包含以下3种特征:“每年获得的飞行常客里程数”、“玩视频游戏所耗时间百分比”以及“每周消费的冰淇淋公升数”。
2.数据预处理
因数据属性的量纲不一致，需要进行归一化处理。
3.数据建模
在分类准确率准则指导下，利用十折交叉验证确定最优的参数k。
4.模型预测
上面我们已经在数据上对分类器进行了测试,现在终于可以使用这个分类器为海伦来对人们分类。我们会给海伦一小段程序，通过该程序海伦会在约会网站上找到某个人并输入他的信息。程序会给出她对对方喜欢程度的预测值。

import pandas as pd
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt


df=pd.read_csv("datingTestSet.txt",sep="\t",names=['flight','ice','game','type'])
features=df.drop(columns=['type'],axis=0)
targets=df['type']

X_train,X_test,y_train,y_test=train_test_split(features,targets,test_size=0.25,random_state=2022)
#标准化
scaler=StandardScaler()
X_train=scaler.fit_transform(X_train)
X_test=scaler.fit_transform(X_test)

# K折交叉验证与学习曲线的联合使用来获取最优K值
scores_cross = []
Ks = []
for k in range(3, 20):
    knn = KNeighborsClassifier(n_neighbors=k)  # 实例化模型对象
    score_cross = cross_val_score(knn, X_train, y_train, cv=6).mean()  # 根据训练数据进行交叉验证，并返回交叉验证的评分
    scores_cross.append(score_cross)
    Ks.append(k)

# 转为数组类型
scores_arr = np.array(scores_cross)
Ks_arr = np.array(Ks)
# 绘制学习曲线
plt.plot(Ks, scores_cross)
plt.show()
# 获取最高的评分，以及最高评分对应的数组下标，从而获得最优的K值
score_best = scores_arr.max()  # 在存储评分的array中找到最高评分
index_best = scores_arr.argmax()  # 找到array中最高评分所对应的下标
Ks_best = Ks_arr[index_best]  # 根据下标找到最高评分所对应的K值
print(Ks_best)  

# 将基于K折交叉验证和学习曲线联合使用而找到的最优的K值用来实例化模型对象
knn=KNeighborsClassifier(n_neighbors=Ks_best)
knn.fit(X_train