使用python实现knn算法_KNN算法及python实现

KNN算法又称最邻近规则分类((K-Nearest Neighbor)

由Cover和Hart在1968年提出了邻近算法。是机器学习中的一种分类算法。是一种实例学习(instance-based learning)和懒惰学习(lazy learning)的算法，因为每一次学习是根据实例而来。懒惰学习，因为在处理训练集时未建立任何的模型，而是在开始归类时进行和已知类型的比较进行分类。下面我们看一个常见的KNN分类问题，也就是电影类型的划分如下

pic1

我们把以上表格中的数据转换成坐标形式如下

pic2 通过上面的转换，也就是把问题变成了对未知点类型的判定了(Romance类型或Action类型)

算法详述

通过上面点的转化后，我们根据KNN算法判定它的具体类型。KNN算法判定步骤如下：

a.选择参数的范围，即参数的个数我们计为k

b.计算未知实例与我们选取范围内的实例距离

c.根据少数服从多刷的投票法则(majority-voting)，让未知实例归类为K个最邻近样本中最多数的类别

注意点: 因为最终用到少数服从多数的原则，所以选取k的时候我们务必选取奇数。

我们知道平面中两个点的距离计算公式为:

pic3 在上面的例子中，得出A-F点距离G点的距离分别为:

d_ag 20.518284528683193

d_bg 18.867962264113206

d_cg 19.235384061671343

d_dg 115.27792503337315

d_eg 117.41379816699569

d_fg 118.92854997854805

选择K等于3,则发现前3个距离最近，所以G点归为Romance类型电影，如果K=3中有一部Action类型，本着少数服从多数，仍然归纳为Romance类型电影。

当多维实例计算时，公式如下：

pic4 注意点：为了考虑分类算法的健壮性，一般我们还会加上权重判断，例如权重为1/d。具体看下图的例子，如果我们不考虑权重，当我们取k=13时候，发现蓝色的点更多归类为蓝色类，但从下面的图应该归类为红色。

pic5

python代码实现

python里面已经内置了鸢尾花分类实例，下面以鸢尾花为例子进行KNN分类预测

from sklearn import neighbors

from sklearn import datasets

# 创建KNN分类器

knn = neighbors.KNeighborsClassifier()

#加载python中默认的鸢尾花分类数据

iris = datasets.load_iris()

#输出数据 包括特征值和target部分

print(iris)

#根据已经有的数据进行训练

knn.fit(iris.data, iris.target)

#作出预测, 花瓣的值

predicatedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]])

#输出预测标记

print(predicatedLabel)