机器学习:KNN归类算法实现验证码识别

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/HAPPENgft/article/details/69943937

算法简介

KNN(K Nearest Neighbor)是机器学习中非常经典的,同时也容易理解的算法。与K-Means算法用于聚类不同的是,KNN是为事物的归类而生的。简单地说,就是知道一批事物的数据特征及各自所属的分类,来根据一个新事物的数据特征来判断其最大可能归属于其中的哪一类的过程。这个判断依据即是计算欧式距离,得到新数据特征向量与原有数据特征向量距离最小的前K个事物所属的分类,得到的这些分类中哪一个分类数量最多则将新事物归于此类。
可以看出,通过KNN准确的判断一个事物的分类,我们需要对事物进行建模,尽可能将具有影响因素的数据特征提取出来,进而向量化以便后续距离的计算。我们将已知分类的数据样本空间,称为training data。样本空间越大,每个数据的数据特征越多,都可能让我们更准确的确定新事物的归类。当然,这样也会带来时间和空间的复杂度提高的问题。

验证码识别

数据获取

爬虫

我们知道,输入验证码是很多登陆网站的一个必要过程,验证码常常以图片的格式呈现。我们可以通过爬虫将验证码批量下载下来,这里就不细说了。

图片字符化

图片字符化是一个有趣的玩法,例如一只肥嫩嫩的Husky:
这里写图片描述
又或者是一枚可爱的姑娘:
这里写图片描述

为了方便算法实现,我们这里只进行阿拉伯数字的验证码的识别。为了控制复杂度同时可以较好表达数据特征,我们确定取32*32个0或1来代表一个阿拉伯数字,则数字2可以转化成如下格式:
这里写图片描述

数据向量化

为了后续算法计算欧式距离的方便,我们可以把数据向量化,将其转换到一维空间。一共32*32=1024个数据特征,每个数据特征取值即为0或1。由于文件格式如下:
这里写图片描述
所以,可以编程如下:

#KNN.py
from numpy import *
import json
from os import listdir
#将0、1按顺序存放到list
def datatolist(fname):
    arr=[]
    fh=open(fname)
    for i in range(0,32):
        thisline=fh.readline()
        for j in range(0,32):
            arr.append(int(thisline[j]))
    return arr
#取得文件对应的阿拉伯数字    
def seplabel(fname):
    filestr=fname.split("/")[-1]
    label=int(filestr.split("_")[0])
    return label
#将转变后的文件保存    
def change_data(dirstr,tofile):
    trainfile=listdir(dirstr)
    fh = open(tofile,'a')
    for i in trainfile:
        print i+'\n'
        lis =datatolist(dirstr+i)
        lab = seplabel(dirstr+i)
        fh.write(json.dumps([lis,lab])+'\n')
    fh.close()
change_data("data/traindata/","data/train.txt")

生成的新文件格式,下面包含两个样本,数字2和数字7:
这里写图片描述

KNN算法实现

#KNN.py
#打印knn算法得到算法的结果,和原本真实表示的数据。结果正确返回1,否则0
def knn(k,testdata,traindata):
    comp_list = []
    for td in traindata:
        dif = testdata[0]-td[0]
        distance = (dif**2).sum()**0.5
        comp_list.append([distance,td[1]])
    comp_list.sort()
    k_list = []
    for i in range(k):
        k_list.append(comp_list[i][1])
    result = max(k_list,key=k_list.count)
    test_num = testdata[1]
    Y_N = result == test_num
    print 'KNN_result: ',result,'Real_num: ',test_num,Y_N
    if Y_N:
        return 1
    else:
        return 0
#从文件读取数据
def get_data(path):
    fh = open(path)
    datas = fh.readlines()
    for i in range(len(datas)):
        tmp = json.loads(datas[i])
        datas[i]=[array(tmp[0]),tmp[1]]
    return datas
#检验测试数据,并输出正确率
traindata =get_data('data/train.txt')
testdatas = get_data('data/test.txt')
rate_list = []
for i in range(len(testdatas)):
    rate_list.append(knn(3,testdatas[i],traindata))
print 'The accuracy is ',sum(rate_list)*1.0/len(rate_list)*100,'%'

经过对近一千个测试数据的计算,运行结果如下:
这里写图片描述

由图,正确率达到98.7%,可见KNN算法在这次验证码识别中发挥了很棒的作用。随着training data 数据空间的扩大,相信还可以将准确率提高到更高的水平。随着而来,导致的可能是更大的时间空间复杂度,这时我们想到了PyHusky~

PyHusky

作为优秀的分布式的计算平台,毫无疑问地PyHusky可以很好应对KNN算法中training data样本空间增大带来的复杂度问题。而且随着数据量的增大,优势对比越加明显。例如在验证测试数据精确度时,当只有1000组training data时,所需时间差别不大。而当training data增大到10000组数据甚至更多时,便能感受到PyHusky带来的明显的高效率,实现如下:

import json
import bindings.frontend as ph
from numpy import *
ph.env.pyhusky_start('master', 14925, params={'disable_progress':True})    
testlist = ph.env.load('/haipeng/tmp/knntest.txt').map(lambda x:json.loads(x)).collect()
#trainlist = ph.env.load('/haipeng/tmp/knntrain.txt').collect()
#ph.env.parallelize(train).write_to_hdfs('/haipeng/tmp/knntrain1')
train = ph.env.load('/haipeng/tmp/knntrain1').map(lambda x:json.loads(x)).cache()
def knn(x):
    test = array(x[0])
    train = array(x[1][0])
    label = x[1][1]
    dif = test-train
    distance = (dif**2).sum()**0.5
    return [distance,label]
def accuracy(testlist,train,k): 
    all_num = 0
    true_num = 0 
    for test in testlist:
        tk = train.map(lambda x:knn([test[0],x])).topk(k)
        k_list = []
        for i in tk:
            k_list.append(i[1])
        result = max(k_list,key=k_list.count)   
        if test[1]==result:
            true_num +=1
        all_num += 1    
    print 1.0*true_num/all_num  
accuracy(testlist,train,3)  

以上是knn算法运用的小例子,分别实现了在单机和分布式上的相关测试,有空会继续介绍其他算法的相关玩法。下面是我已经处理好的数据连接,可以自由下载使用:
链接: http://pan.baidu.com/s/1jHASAay 密码: 7fc5

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页