KNN邻近算法与python实践

k邻近算法(k-NearestNeighbor)又成为KNN，属于分类算法中的一种。KNN通过计算新数据与历史样本数据中不同类别数据点间的距离，从而对新数据进行分类。换句话说，就是通过新数据与最邻近的k个数据点，来对新数据进行分析和分类。

环境：mac + python3.6.3(另外需要的第三方库请自行下载)
python KNN算法原理demo代码如下：

from numpy import *
from PIL import Image
import operator
from os import listdir
import time
import os


# 图片处理
# pillow
# 将bmp格式的图片转化为只有0和1的txt文本，这样就有了训练数据了
def transformAllBmp2Txt():
    rootdir = "手写体素材"
    list = os.listdir(rootdir)  # 列出文件夹下所有的目录与文件
    time1 = time.time()
    for i in range(0, len(list)):
        path = os.path.join(rootdir, list[i])
        if os.path.isdir(path):
            # 具体某个文件夹下的所有文件与目录
            path_dir = os.listdir(path)
            for index in range(0, len(path_dir)):
                # 好吧，这里做一层保护
                file = os.path.join(path, path_dir[index])
                if os.path.isfile(file):
                    bmp2txt(file)
    time2 = time.time()
    print("总共耗时:" + str(time2 - time1))


def bmp2txt(file):
    im = Image.open(file)
    fileSplit = file.split("/")
    # dir = "transdata/" + fileSplit[1] + "/"
    dir = "transdata/"
    if os.path.exists(dir) == False:
        os.makedirs(dir)
    destination_file = dir + fileSplit[2].split(".")[0] + ".txt"
    fh = open(destination_file, "a")
    width = im.size[0]
    height = im.size[1]
    # print("图片的模式为:" + im.mode)  # 此bmp模式为L，模式L”为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白
    for i in range(0, width):
        for j in range(0, height):
            cl = im.getpixel((i, j))
            if (cl == 0):
                # 黑色，由于选择的bmp背景色是黑色，所以默认的是黑色
                fh.write("0")
            else:
                fh.write("1")
        fh.write("\n")
    fh.close()
    print(destination_file + "保存成功。。。")


# 从列方向扩展
# tile(a,(size,1))
def knn(k, testdata, traindata, labels):
    # testdata:一维数组[0,0,1,……]
    # traindata：二维数组[[0,0,1……],[],]
    # labels：一维列表，跟traindata一一对应
    # 以下shape取的是训练数据的第一维，即其行数，也就是训练数据的个数
    traindatasize = traindata.shape[0]
    dif = tile(testdata, (traindatasize, 1)) - traindata
    # tile()的意思是给一维的测试数据转为与训练数据一样的行和列的格式
    sqdif = dif ** 2
    # axis=1-----》横向相加的意思
    sumsqdif = sqdif.sum(axis=1)
    # sumsqdif在此时已经成为1维的了
    distance = sumsqdif ** 0.5
    sortdistance = distance.argsort()
    # sortdistance为测试数据到各个训练数据的距离按近到远排序之后的结果
    count = {}
    for i in range(0, k):
        vote = labels[sortdistance[i]]
        # sortdistance[i]测试数据最近的K个训练数据的下标
        # vote测试数据最近的K个训练数据的类别
        count[vote] = count.get(vote, 0) + 1
    sortcount = sorted(count.items(), key=operator.itemgetter(1), reverse=True)
    return sortcount[0][0]


# 加载数据
def datatoarray(fname):
    arr = []
    fh = open(fname)
    # 28表示图片像素中的宽和高，比如我这里的图片是28*28的像素，转成txt文本就是28行*28列
    for i in range(0, 28):
        thisline = fh.readline()
        for j in range(0, 28):
            arr.append(int(thisline[j]))
    return arr


# 建立一个函数取文件名前缀，为了验证用
def seplabel(fname):
    filestr = fname.split(".")[0]
    label = int(filestr.split("_")[0])
    return label


# 建立训练数据
def traindata():
    labels = []
    trainfile = listdir("traindata")
    num = len(trainfile)
    print("文件的总数为：" + str(num))
    # 长度784（列），每一行存储一个文件
    # 用一个数组存储所有训练数据，行：文件总数，列：784
    # 28*28=784
    trainarr = zeros((num, 784))
    for i in range(0, num):
        thisfname = trainfile[i]
        thislabel = seplabel(thisfname)
        labels.append(thislabel)
        trainarr[i, :] = datatoarray("traindata/" + thisfname)
    return trainarr, labels


# 用测试数据调用KNN算法去测试，看是否能够准确识别
def datatest():
    n1 = 0
    n2 = 0
    time1 = time.time()
    trainarr, labels = traindata()
    testlist = listdir("testdata")
    tnum = len(testlist)
    # print(trainarr)
    for i in range(0, tnum):
        n1 += 1
        thistestfile = testlist[i]
        testarr = datatoarray("testdata/" + thistestfile)
        thislabel = seplabel(thistestfile)
        rknn = knn(3, testarr, trainarr, labels)
        print(rknn)
        if (thislabel == rknn):
            n2 += 1
    time2 = time.time()
    print("耗时：" + str(time2 - time1) + "秒")
    print("准确率:" + str(n2 / n1))


# #抽某一个测试文件出来进行试验
# trainarr,labels=traindata()
# thistestfile="a.txt"
# testarr=datatoarray("testdata/"+thistestfile)
# #print(testarr)
# rknn=knn(3,testarr,trainarr,labels)
# print(rknn)

datatest()
# ------------------------------------------------------python算法原理结束-------------------------------------------------------

完整代码在python_study/w7-罗小辉-380226205/test_knn.py中，运行test_knn.py即可。