python KNN算法的简单实现

这里依然是学习《统计学习方法》一书中，K近邻算法的一个实验尝试。具体理论可参考该输，这里简单贴出K近邻算法的思想及实现步骤：

结果展示如下：

大的红点是传入的测试点，k传入的是5，也就是说大红点的周围5个点决定大红点的类别。

上图便是判定大红点属于红色类别的判别过程。也就是说，他周围最近邻的k个点进行投票表决，多数决定其类别。

import numpy as np
from matplotlib import pyplot

def randonGenerate15PointerAndThreeClass():
    ponters = []
    for num in range(3):
        data = [[np.random.random_integers(0,9,1),np.random.random_integers(0,9,1),np.array(num)] for a in range(5)]
        ponters.append(np.array(data))
    np.save("data",ponters)
    print(ponters)
    return ponters

def loadData(fileName):
    return np.load(fileName)

#计算两个向量的距离，用的是欧几里得距离
def distEclud(vecA, vecB):
    return np.sqrt(np.sum(np.power(vecA - vecB, 2)))

def drawPointers(pointers,point):
    pointersLocal = pointers[:,:,0:2]
    i = 0
    for classs in pointersLocal:
        cs = np.zeros(3,dtype=np.int8)
        cs[i]=1
        #将list转为numpy中的array,方便切片
        xy = np.array(classs)

        if(len(xy)>0):
            pyplot.scatter(xy[:,0],xy[:,1],c=cs)
        i += 1
    pyplot.scatter(xy[:, 0], xy[:, 1], c=cs)
    cs = np.zeros(3, dtype=np.int8)
    cs[point[2]] = 1
    pyplot.scatter(point[0],point[1], c=cs,linewidths=20)
    pyplot.show()
    return None


def sortByTheClu(data):
    return data[0]

def sortByTheClu1(data):
    return data[1]

def KNN(pointers,point,k):

    #计算每个点到点a的欧氏距离
    disAll = []
    i=0
    for data in pointers:
        tmpDatas = data[:,:2]
        labels = data[:,2]
        for pointer in tmpDatas:
            dis = distEclud(point,pointer)
            disAll.append(np.array([np.array(dis),np.array(labels[i])]))
        i += 1
    #需要排序，然后统计最近的k个点，通过表决的方式决定point的类别
    print(disAll)
    disSorted = sorted(disAll,key=sortByTheClu)
    print(disSorted)
    kdata = np.array(disSorted[0:k])
    print(kdata)
    for num in range(k):
        labels = kdata[:,1]
        ksetlabels = np.zeros(k)
        i=0
        for label in labels:
            ksetlabels[i] = label
            i += 1
        kset = set(ksetlabels)
        classAndCount = []
        for classs in kset:
            count = 0
            for label in ksetlabels:
                if classs == label:
                    count +=1
            classAndCount.append([int(classs),count])
        classAndCountSorted = sorted(classAndCount,key=sortByTheClu1,reverse=True)
    return classAndCountSorted[0]

def test():
    pointers = loadData("data.npy")
    print(pointers)
    #给定一个点，计算分类
    a = [[3],[5]]
    result = KNN(pointers,a,5)
    a.append(result[0])
    drawPointers(pointers,a)
    return None


# randonGenerate15PointerAndThreeClass()
test()

图中的15个点事调用randonGenerate15PointerAndThreeClass()方法随机生成的，因此实验之前，先调用该方法生成15个实验数据。
然后就可以调用test方法进行测试。