KNN算法

KNN算法

原理：以相邻最近的距离最为判决条件（欧式距离，切比雪夫距离等）

优点：

• 简单方便，便于实现
• 对于边缘不规则数据的效果好

缺点：

• 数据集要求小。
• 数据规则效果差
• 必须数据标准化（距离得标准）
• 数据特征维度太多不行

K值影响对结果影响大

• K越小过拟合
• K越大欠拟合
• 一般向上加

鸢尾花数据集例子

from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier #sklearn模块的KNN类
import numpy as np
import random
np.random.seed(0)#保证随机数一样
iris=datasets.load_iris()#导入鸢尾花数据集
iris_x=iris.data
iris_y=iris.target
randomarr=np.random.permutation(len(iris_x))
iris_x_train=iris_x[randomarr[:-10]]#训练集
iris_y_train=iris_y[randomarr[:-10]]#训练集
iris_x_test=iris_x[randomarr[-10:]]#测试集
iris_y_test=iris_y[randomarr[-10:]]#测试集
#定义KNN分类器对象
knn=KNeighborsClassifier()
#调用训练
knn.fit(iris_x_train,iris_y_train)
#测试集预测
iris_y_predict=knn.predict(iris_x_test)
#计算概率值
probility=knn.predict_proba(iris_x_test)
#打分方法即计算准确率
score=knn.score(iris_x_test,iris_y_test,sample_weight=None)
#输出结果
print('iris_y_predict')
print(iris_y_predict)
#原始数据正确结果对比
print('iris_y_test')
print(iris_y_test)
#输出准确率
print('Auccary',score)