KNN算法代码

一、K近邻算法

        KNN是一种监督学习类别的算法，全称（K-NearestNeighbor）直译为K个最近的邻居，是一种聚类算法。该算法认为我们在判断一个物体的类别可以根据与他非常相似的K个物体的类别（这K个物体的类别是已知的）来决定。其工作机制是给定一个新的测试样本，基于某种距离度量找出训练集中离该新样本最近的前K个样本（训练集中样本标签已知），基于这K个样本的标签信息来预测新样本的类别，通常，在这K个样本中出现最多次数的类别标签即被预测为新样本的类别标签。

二. 使用Python导入数据

首先创建一个KNN.py文件，在文件中输入以下代码：

 

from numpy import * #导入numpy库
import operator #导入operator模块
#以下代码定义了一个数据集，其中包含数据与对应的分类标签信息
def createDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

保存KNN.py文件，并改变当前路径到存储KNN.py的位置，打开Python开发环境。
输入以下代码导入KNN模块：

group,labels=KNN.createDataSet()
print(group)
print(labels)
输出为：
[[1.  1.1]
 [1.  1. ]
 [0.  0. ]
 [0.  0.1]]
['A', 'A', 'B', 'B']

三、从文本中解析数据

具体代码如下:

def calssify0(inX,dataSet,labels,k): 
    dataSetSize=dataSet.shape[0] 
    diffMat=numpy.tile(inX,(dataSetSize,1))-dataSet 
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1) 
    distances=sqDistances**0.5 
    sortedDistIndicies=distances.argsort() 
    classCount={} 
    for i in r