k近邻算法python_k-近邻算法的Python实现

本篇文章，想向各位介绍一个非常易于实现的机器学习算法：k-近邻算法，众所周知，k-近邻算法是非常常用的分类算法，现在给出k-近邻算法的官方解释：在一个样本数据集，也称作训练样本集，并且样本中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系，输入没有标签的新数据后，将新数据的每个特征与样本集中的数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据(最近邻)的分类标签。一般来说，我们只选择样本集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数，最后，选择k个最相似的数据中出现次数最多的分类，作为新数据的分类。通过寻找近邻来辅助分类可以提升分类的效率，简化分类的流程。

现在来介绍k-近邻算法的一般流程：

(1)收集数据：比如问卷法，观察法等等。

(2)准备数据：距离计算所需的数值，最好是结构化的数据格式。

(3)分析数据：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析等。

(4)训练算法：在k-近邻中一般不用。

(5)测试算法：计算错误率。

(6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

介绍完了流程，我们开始导入数据，这次导入数据的代码环境依然选择python，首先我们需要有kNN.py的文件,关于kNN的源码，推荐各位上CodeForge网站上下载，该网站有很多有用的源码。

有了kNN的源码之后，我们可能还要编写一些基本的通用函数，在源码中增加下面的代码：

from numpy import *

Import operator

def createDataSet():

group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

labels = [‘A’,’A’,’B’,’B’]

return group ,labels

在上面的代码中，我们导入了两个模块：第一个是科学计算包Numpy;第二个是运算符模块，k-近邻算法执行排序操作时将使用这个模块提供的函数。

现在我们来实施kNN算法，为每组数据分类，先给出其伪代码如下：

对未知类别属性的数据集中的每个点依次执行以下操作：

(1)计算已知类别数据集中的每个点与当前点之间的距离：

(2)按照距离递增次序排序；

(3)选取与当前距离最小的k个点；

(4)确定前k个点所在类别的出现频率；

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。

K_近邻算法的python实现如下：

def classify0(inX,dataSet,labels,k):

dataSetSize = dataSet.shape[0]

diffMat = tile(inX,(dataSetSize,1))-dataSet

sqDiffMat = diffMat**2

sqDistances = sqDiffMat.sum(axis=1)

distance = sqDistance**0.5

sortedDistIndicies = distance.argsort()

classCount = {}

for i in range(k):

voteIlabel = labels[sortedDistIndicies[i]]

classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

sortedClassCount = sorted(classCount.iteritems),key = operator.itemgetter(1),reverse = True)

return sortedClassCount[0][0]

以上代码的目的主要是为了计算数据中的点与当前点的距离，根据计算的的距离结果，选择距离最小的k个点，随后对这k个点按照从大到小进行排序。(距离计算主要是欧式距离)

为了预测数据所在分类，在python提示符中输入下列命令：

kNN.classify0([0,0],group,labels,3)

以上是我们用python构造的第一个分类器，这个分类器可以完成很多任务，我们初步完成了构造分类算法。之后的文章中，将会给给位介绍一下k近邻算法的案例，敬请期待～

作者：徐永瑞 Python爱好者社区专栏作者，请勿转载，谢谢。

出处：k-近邻算法的Python实现

配套视频教程：Python3爬虫三大案例实战分享：猫眼电影、今日头条街拍美图、淘宝美食 Python3爬虫三大案例实战分享

公众号：Python爱好者社区(微信ID：python_shequ)，关注，查看更多连载内容。

加小编个人微信：tsdatajob ，跟作者互动，一起探讨。