机器学习实战之KNN算法（代码）详解

机器学习实战之KNN算法（代码）详解

KNN算法一般流程

       (1)收集数据：可以使用任何方法
       (2)准备数据：距离计算所需要的数值，最好是结构化数据格式
       (3)分析数据：可以使用任何方法
       (4)训练算法：此步骤不适合KNN
       (5)测试算法：计算错误率
       (6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行KNN判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

算法的一般操作

对未知类别属性的数据集中的每个点一次执行以下操作：
       (1)计算已知类别数据集中的点与当前点之间的距离；
       (2)按照距离递增次序排序；
       (3)选取与当前点距离最小的k个点
       (4)确定前K个点所在的类别的出现频率
       (5)返回前K个点出现频率最高的类别作为当前点的预测分类

创建数据集

from numpy import *
import operator
def createDataset():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

                                   带有四个数据点的简单例子.

KNN算法

def classify0(inX, dataSet, labels, k):
    #计算出欧氏距离数组
    dataSetSize = dataSet.shape[0] #获取数据集中数据的个数
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances**0.5           
    sortedDisiIndicies = distances.argsort()
    
    #选择k个距离最小的点
    classCount = {
   }
    for i in range(k):
        voteIlabel = labels[sortedDisiIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        
    #排序:将classCount字典分分解为元组列表，使用运算符模块的itemgetter方法，按照第二个元素的次序对元组进行排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(