K近邻分类算法

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
下面以比较著名的鸾尾花（Iris）数据集举例，讲解K近邻算法
首先我们先导入数据

from sklearn.datasets import load_iris
iris = load_iris()
print(iris.data.shape)
print(iris.data)

可以看到Iris数据集共有150朵鸾尾花的样本，因为没有测试数据，所以我们随机采用其中75%的数据作为训练数据，采用剩余的25%的数据作为测试数据
下面对Iris数据集进行分割

from sklearn.cross_validation import train_test_split
X_train,X_test,Y_train,Y_test = train_test_split(iris.data,iris.target,test_size=0.25,random_state=33)

分割完成后，到了训练部分，这里我们使用K近邻分类器对鸾尾花的数据进行类别预测

from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

ss = StandardScaler()
X_train = ss.fit_transform(X_train)
X_test = ss.transform(X_test)

knc = KNeighborsClassifier()
knc.fit(X_train,Y_train)
Y_predict = knc.predict(X_test)

将预测结果存在Y_predict中

最后我们使用模型自带的评估函数对K近邻分类器在鸾尾花数据上的预测性能进行评估


可以看到，K近邻分类器对38条鸾尾花测试样本的准确性约为89.47%，平均精确率、召回率以及F1指标分别为0.92、0.89、0.90.

K近邻算法模型没有参数训练过程，也就是说，该模型并没有通过任何学习算法分析训练数据，而是只是根据测试样本在训练数据的分布直接做出分类决策。因此，K近邻属于无参数模型中非常简单的一种。