机器学习算法---K近邻

1 超参数

k

2 k近邻的距离

欧式距离

3 pandas的展示

import pandas as pd
import numpy as np


dataset =  pd.read_excel('./knn案例.xls')
print(dataset)

feature = dataset.iloc[:-1,[1,2]]
print(feature)

x_unknown,y_unknown = (18,90)
feature['new_x'] = (feature[['fightnum']]-x_unknown)**2
feature['new_y'] = (feature[['kissnum']]-y_unknown)**2
feature['distance'] = (feature['new_x']+feature['new_y'])**(1/2)
print(feature)

4 sklearn

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
data_set = load_iris()
# print(data_set)

features = data_set.data
lables = data_set.target
print(features)
print(lables)

X_train, X_test, y_train, y_test = train_test_split(features,lables,test_size=0.23)

'''
 X_train, X_test, y_train, y_test = train_test_split(
    ...     X, y, test_size=0.33, random_state=42)
'''

knn_cls = KNeighborsClassifier()
knn_cls.fit(X_train,y_train)

y_pedict = knn_cls.predict(X_test)
print('这是原始测试集的目标值')
print(y_test)
print('预测数据')
print(y_pedict)

score = knn_cls.score(X_test,y_test)
print('得分')
print(score)

5 分类器性能

	正例	假例
正例	真正例（TP）	伪反例（FN）
假例	伪正例（FP）	真反例（TN)

精确率：预测结果为正例样本中真实为正例的比例（查的准）

召回率：真实为正例的样本中预测结果为正例的比例（查的全）

准确率 = 预测对的/所有 = （TP+TN）/(TP+FP+FN+TN)

精确率 = TP/(TP+FP)

召回率 = TP/(TP+FN)

调和平均数 F1

如果精确率和召回率差距过大的模型，没有意义再使用，

F1表示了模型的稳健性

6 K值对与模型的影响

K过小，容易收到噪声数据的影响

K过大，容易收到数量的影响

7 优缺点

优点：
简单
易于理解
容易实现
通过对K的选择可具备丢噪音数据的健壮性

缺点：
需要大量空间储存所有已知实例
算法复杂度高（需要比较所有已知实例与要分类的实例）
当其样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本，因为这类样本实例的数量过大，但这个新的未知实例实际并木接近目标样本

使用场景
适用于小数据场景，几千–几万的数据量