机器学习实战1.1--KNN分类算法

K-近邻算法采用测量不同特征值之间的距离方法进行分类。K-NN算法的工作原理是：

存在一个训练样本集，并且样本集中的每组数据都存在标签，即我们知道样本集中每一组数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。 一般我们选择前k个最相似的数据，最后这k个最相似数据中出现次数最多的分类，作为新数据的分类。

from numpy import *   #导入科学计算包
import operator   #导入运算符模块

def classify0(inX,dataSet,labels,k): #待分类数据inX，训练样本dataSet，标签labels，选择的临近数目k
    dataSetSize=dataSet.shape[0]   #计算训练样本个数

    #使用欧式距离公式，求每个训练样本点与待分类数据点之间的距离
    diffMat=tile(inX,(dataSetSize,1))-dataSet #将inX向量进行相应的变换，使得它与dataSet矩阵为相似矩阵，并进行相应的操作
    sqDiffMat=diffMat**2  #将运算得到的矩阵中的每一项求平方
    sqDistances=sqDiffMat.sum(axis=1)  #axis=1：按行求和
    distances=sqDistances**0.5

    sortedDistIndicies=distances.argsort()   #对距离进行从小到大排序,返回的排序后的索引值
    classCount={}   #定义一个字典用以记录前k个样本中，每个标签所对应训练样本的个数
    for i in range(k):   #遍历这些样本，查看其所对应的标签类型
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)  #按照字典中的第二个值进行降序排列
    return sortedClassCount[0][0]

 

该函数的功能是使用k-近邻算法将每组数据划分到某个类中。

对未知类别属性的数据集中的每个点依次进行一下操作：

（1）计算已知类别数据集中的点与当前点之间的距离；

（2）按照距离递增的顺序进行排序；

（3）选取与当前点距离最近的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的点作为当前点的预测分类。