KNN算法-测试分类iris数据集

K近邻算法

原理：核心原理：越相近越相似，根据最近的K个近邻特征的距离，来判断归属于哪个蔟。
关键词：距离，K个近邻
1.一般距离计算有欧式距离，曼哈顿距离，等等，这里默认欧氏距离（方便计算）
2.近邻数K的取值，直接影响到算法的结果。*值的思考的是，根据距离最近的K个近邻所属的蔟，以类似投票制的方式，是否合理？距离是否需要加上权重？

以iris数据集为例，简单运行下KNN的算法：

#导入常规要用的包
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
#准备数据集
li=load_iris()
#划分数据集
x_train ,x_test,y_train,y_test=train_test_split(li.data,li.target,test_size=0.25,random_state=100)
#特征工程之标准化
#（特别注意2点：1.如果先标准化再划分数据集，标准化的过程中，train集已经用到了test集的信息，这是一定要避免的。
#2.test集直接用transform，不能用fit，用已获取的train集期望和方差，对以后的数据做统一的标准化）
std=StandardScaler()
x_train=std.fit_transform(x_train)
x_test=std.transform(x_test)
#实例化KNN算法
knn=KNeighborsClassifier(n_neighbors=3,weights='distance') #随意加了weights尝试下
knn.fit(x_train,y_train)
#输出yhat及准确率
y_predict=knn.predict(x_test)
knn.score(x_test,y_test)

0.9736842105263158