【KNN近邻算法】实现识别简单数字验证码（算法原理+代码笔记）

此笔记适合有一定python基础，了解numpy科学计算库的人，有一定线性代数基础的人。对KNN算法原理了解的更容易看懂，笔者水平受限，写以下笔记主要目的是分享自己的学习过程以及便于以后复习查看。

KNN 近邻算法实现原理：

实现步骤：

  ①：处理数据

          ②：数据向量化

          ③：计算欧几里得距离

          ④：根据距离进行分类

训练数据和测试数据：（存放在txt文件里面）

下载地址：链接：http://pan.baidu.com/s/1jHO0PHs 密码：5iba

整体思路：

核心算法（算法思路）：

  KNN算法主要实现将传入的测试数据与训练数据做对比，其中训练数据已知类型，测试数据并不知道。

                          KNN算法函数是：knn(k,testdata,traindata,labels):

          参数解释：1、k代表训练样本的个数。

                              2、testdata是测试数据（具体格式后面解释）。

                              3、traindata是训练数据（具体格式后面解释）。

                              4、labels代表训练数据对应的类别。

 算法如下：

from numpy import *
import operator
from os import listdir
def knn(k,testdata,traindata,labels):
    #testdata:[特征1，特征2，特征3]
    #traindata:[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]
    traindatasize=traindata.shape[0]
    dif=tile(testdata,(traindatasize,1))-traindata
    sqdif=dif**2
    #sumsqdif已经成为一维的了[a,b,c,d]
    sumsqdif=sqdif.sum(axis=1)
    distance=sumsqdif**0.5
    sortdistance=distance.argsort()
    #sortdistance指的是测试数据与各训练数据的距离由近到远排序之后的结果列表
    count={}#{"类别":"次数"}
    for i in range(0,k):
        vote=labels[sortdistance[i]]#当前距离的类别是谁（由近至远）
        count[vote]=count.get(vote,0)+1
    #print(count)
    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)
    return sortcount[0][0]

 核心思路：

1、编写函数将训练文件里面的数据按行读取一次存放到一个列表arr中

#数据加载，将数据转换成knn算法支持的向量。
def datatoarray(fname):  #fname是文件名称
    arr=[]#新建一个列表
    fh=open(fname) #打开fname对应的这个文件
    for i in range(0,32):
        thisline=fh.readline()  #按行读取一次存放到列表中
        for j in range(0,32):
            arr.append(int(thisline[j]))  #将按行读取的结果存放到列表中
    return arr#返回列表

2、编写函数得到每一个训练样本的类别

#取文件名前缀（类别）
def seplabel(fname):
    filestr=fname.split(".")[0]  #split函数是分割函数，在这里是以‘.’分割，并且去前面部分
    label=int(filestr.split("_")[0])  #split函数是分割函数，在这里是以‘_’分割，并且去前面部分，就会得到这个数据的类别，

                                      #主要是因为文件名的格式是形如：8_55，8代码这个文件的正确识别结果应该是8              

以上2步是针对单个训练文件

3、针对批量训练文件，全部转换成KNN算法支持的格式，并且将每一个训练样本对应的类别存放在将要传给KNN算法的列表参数labels中，并且每一个列表元素和格式化后的训练数据样本对应

def traindata():
    labels=[]  #存放类别
    trainfile=listdir("D:/trainandtest/traindata") #把文件夹打开并且把文件夹中所
#    有的文件名存放在列表中，为了最后放在datatoarray函数的arr里（那里面也是列表类型）
    num=len(trainfile)
    #建立一个列为1024,行为num的数组模型
    trainarr=zeros((num,1024))
#      {
#       [
#        [      ]
#        [      ]
#        [      ]
#        [      ]   num为行数，1024是每一行存放的特征数目
#               ]}
    for i in range(0,num):
        thisname=trainfile[i]
        thislabel=seplabel(thisname)
        labels.append(thislabel)
        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)
    return trainarr,labels

              4、其他操作：

trainarr,labels=traindata()  #得到训练样本的类别，及转换成KNN算法支持的向量格式
thistestfile="5_66.txt"       #当前要测试的文件
testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)   #把测试文件转换成KNN支持的向量格式
rst=knn(3,testarr,trainarr,labels)   #调用KNN算法实现识别，并且把值返回给rst
print "this writing's classify is",rst

完整代码：

#Wrting shibie system.
# encoding=utf-8
#numpy是处理二维矩阵的科学计算库
from numpy import *
import operator
from os import listdir
def knn(k,testdata,traindata,labels):
    #testdata:[特征1，特征2，特征3]
    #traindata:[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]
    traindatasize=traindata.shape[0]
    dif=tile(testdata,(traindatasize,1))-traindata
    sqdif=dif**2
    #sumsqdif已经成为一维的了[a,b,c,d]
    sumsqdif=sqdif.sum(axis=1)
    distance=sumsqdif**0.5
    sortdistance=distance.argsort()
    #sortdistance指的是测试数据与各训练数据的距离由近到远排序之后的结果列表
    count={}#{"类别":"次数"}
    for i in range(0,k):
        vote=labels[sortdistance[i]]#当前距离的类别是谁（由近至远）
        count[vote]=count.get(vote,0)+1
    #print(count)
    sortcount=sorted(count.items(),key=operator.itemgetter(1),reverse=True)
    return sortcount[0][0]
#数据加载，将数据转换成knn算法支持的向量。
def datatoarray(fname):
    arr=[]
    fh=open(fname)
    for i in range(0,32):
        thisline=fh.readline()
        for j in range(0,32):
            arr.append(int(thisline[j]))
    return arr
#a=datatoarray("D:/Python35/traindata/0_3.txt")
#取文件名前缀（类别）
def seplabel(fname):
    filestr=fname.split(".")[0]
    label=int(filestr.split("_")[0])
    return label
#建立训练数据
#labels:[类别,类别，类别,类别]
#tainarr：[[特征1，特征2，特征3],[特征1，特征2，特征3],[特征1，特征2，特征3]]
def traindata():
    labels=[]  #存放类别
    trainfile=listdir("D:/trainandtest/traindata") #把文件夹打开并且把文件夹中所
#    有的文件名存放在列表中，为了最后放在datatoarray函数的arr里（那里面也是列表类型）
    num=len(trainfile)
    #列为1024,行为num的数组
    trainarr=zeros((num,1024))
#      {
#       [
#        [      ]
#        [      ]
#        [      ]
#        [      ]   num为行数，1024是每一行存放的特征数目
#               ]}
    for i in range(0,num):
        thisname=trainfile[i]
        thislabel=seplabel(thisname)
        labels.append(thislabel)
        trainarr[i,:]=datatoarray("D:/trainandtest/traindata/"+thisname)
    return trainarr,labels   
        
trainarr,labels=traindata()
thistestfile="5_66.txt"
testarr=datatoarray("D:/trainandtest/testdata/"+thistestfile)
rst=knn(3,testarr,trainarr,labels)
print "this writing's classify is",rst
#小作业
#实现将testdata里面的数据批量识别（提示：通过循环）
#2：实现计算识别准确率SA

运行结果：