利用 KNN 算法进行验证码识别

最新推荐文章于 2022-02-27 17:17:37 发布
最新推荐文章于 2022-02-27 17:17:37 发布
阅读量1.5k 收藏 10
点赞数 4
分类专栏： 机器学习

文章:用KNN来进行验证码识别

前言

对那些及其简单的验证码,可以用KNN算法来破解,这里整理了一个思路,可以了解了解.那么KNN算法原理是什么呢?

KNN原理

这里写图片描述

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

算法流程

  1. 准备数据，对数据进行预处理
  2. 选用合适的数据结构存储训练数据和测试元组
  3. 设定参数，如k
    4.维护一个大小为k的的按距离由大到小的优先级队列，用于存储最近邻训练元组。随机从训练元组中选取k个元组作为初始的最近邻元组，分别计算测试元组到这k个元组的距离，将训练元组标号和距离存入优先级队列
  4. 遍历训练元组集，计算当前训练元组与测试元组的距离，将所得距离L 与优先级队列中的最大距离Lmax
  5. 进行比较。若L>=Lmax，则舍弃该元组，遍历下一个元组。若L < Lmax，删除优先级队列中最大距离的元组，将当前训练元组存入优先级队列。
  6. 遍历完毕，计算优先级队列中k 个元组的多数类，并将其作为测试元组的类别。
  7. 测试元组集测试完毕后计算误差率，继续设定不同的k值重新进行训练，最后取误差率最小的k 值。

优点

1.简单，易于理解，易于实现，无需估计参数，无需训练
2.适合对稀有事件进行分类（例如当流失率很低时，比如低于0.5%，构造流失预测模型）
3.特别适合于多分类问题(multi-modal,对象具有多个类别标签)，例如根据基因特征来判断其功能分类，kNN比SVM的表现要好

缺点

1.懒惰算法，对测试样本分类时的计算量大，内存开销大，评分慢
可解释性较差，无法给出决策树那样的规则。

下面开始着重讲如何利用KNN算法;来实现验证码的识别.

具体实现

其实就是简单地把字符进行旋转然后加上一些微弱的噪点形成的。我们要识别，就得逆行之.

具体思路

1)获得验证码
2) 首先二值化去掉噪点
3)然后把单个字符分割出来
4)最后旋转至标准方向，然后从这些处理好的图片中选出模板
5)最后每次新来一张验证码就按相同方式处理，然后和这些模板进行比较，选择判别距离最近的一个模板作为其判断结果（亦即KNN的思想，本文取K=1）。

获得验证码

#-*- coding:UTF-8 -*-
import urllib,urllib2,cookielib,string,Image
def getchk(number):
    #创建cookie对象
    cookie = cookielib.LWPCookieJar()
    cookieSupport= urllib2.HTTPCookieProcessor(cookie)
    opener = urllib2.build_opener(cookieSupport, urllib2.HTTPHandler)
    urllib2.install_opener(opener) 
    #首次与教务系统链接获得cookie#
    #伪装browser
    headers = {
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding':'gzip,deflate',
        'Accept-Language':'zh-CN,zh;q=0.8',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36'
    }
    req0 = urllib2.Request(
            url ='http://mis.teach.ustc.edu.cn',
            headers = headers               #请求头
    )
    # 捕捉http错误
    try :
        result0 = urllib2.urlopen(req0)
    except urllib2.HTTPError,e:
        print e.code
    #提取cookie
    getcookie = ['',]
    for item in cookie:
        getcookie.append(item.name)
        getcookie.append("=")
        getcookie.append(item.value)
        getcookie = "".join(getcookie)

    #修改headers
    headers["Origin"] = "http://mis.teach.ustc.edu.cn"
    headers["Referer"] = "http://mis.teach.ustc.edu.cn/userinit.do"
    headers["Content-Type"] = "application/x-www-form-urlencoded"
    headers["Cookie"] = getcookie
    for i in range(number):
        req = urllib2.Request(
            url ="http://mis.teach.ustc.edu.cn/randomImage.do?date='1469451446894'",
            headers = headers                 #请求头
        )
        response = urllib2.urlopen(req)
        status = response.getcode()
        picData = response.read()
        if status == 200:
            localPic = open("./source/"+str(i)+".jpg", "wb")
            localPic.write(picData)
            localPic.close()
        else:
            print "failed to get Check Code "
if __name__ == '__main__':
    getchk(500)
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54

这里下载了500张验证码到source目录下面。如图：
这里写图片描述

二值化

mydir='./source/';
bw = './bw/';
if mydir(end)~='\'
    mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']);  %扩展名
n=length(DIRS);
for i=1:n
    if ~DIRS(i).isdir
        img = imread(strcat(mydir,DIRS(i).name ));
        img = rgb2gray(img);%灰度化
        img = im2bw(img);%0-1二值化
        name = strcat(bw,DIRS(i).name)
        imwrite(img,name);
    end
end
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

结果

这里写图片描述

分割

mydir='./bw/';
letter = './letter/';
if mydir(end)~='\'
    mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']);  %扩展名
n=length(DIRS);
for i=1:n
    if ~DIRS(i).isdir
        img = imread(strcat(mydir,DIRS(i).name ));
        img = im2bw(img);%二值化
        img = 1-img;%颜色反转让字符成为联通域，方便去除噪点
        for ii = 0:3
            region = [ii*20+1,1,19,20];%把一张验证码分成四个20*20大小的字符图片
            subimg = imcrop(img,region);
            imlabel = bwlabel(subimg);
%             imshow(imlabel);
            if max(max(imlabel))>1 % 说明有噪点，要去除
%                 max(max(imlabel))
%                 imshow(subimg);
                stats = regionprops(imlabel,'Area');
                area = cat(1,stats.Area); 
                maxindex = find(area == max(area));
                area(maxindex) = 0;          
                secondindex = find(area == max(area));        
                imindex = ismember(imlabel,secondindex);
                subimg(imindex==1)=0;%去掉第二大连通域，噪点不可能比字符大，所以第二大的就是噪点
            end
            name = strcat(letter,DIRS(i).name(1:length(DIRS(i).name)-4),'_',num2str(ii),'.jpg')
            imwrite(subimg,name);
        end
    end
end
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

这里写图片描述

旋转

接下来进行旋转，哪找一个什么标准呢？据观察，这些字符旋转不超过60度，那么在正负60度之间，统一旋转至字符宽度最小就行了。代码如下

if mydir(end)~='\'
    mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']);  %扩展名
n=length(DIRS);
for i=1:n
    if ~DIRS(i).isdir
        img = imread(strcat(mydir,DIRS(i).name ));
        img = im2bw(img);
        minwidth = 20;
        for angle = -60:60
            imgr=imrotate(img,angle,'bilinear','crop');%crop 避免图像大小变化
            imlabel = bwlabel(imgr);
            stats = regionprops(imlabel,'Area');
            area = cat(1,stats.Area);
            maxindex = find(area == max(area));
            imindex = ismember(imlabel,maxindex);%最大连通域为1
            [y,x] = find(imindex==1);
            width = max(x)-min(x)+1;
            if width<minwidth
                minwidth = width;
                imgrr = imgr;
            end
        end
        name = strcat(rotate,DIRS(i).name)
        imwrite(imgrr,name);
    end
end
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

这里写图片描述

模板选取

现在从rotate文件夹中选取一套模板，涵盖每一个字符，一个字符可以选取多个图片，因为即使有前面的诸多处理也不能保证一个字符的最终呈现形式只有一种，多选几个才能保证覆盖率。把选出来的模板图片存入samples文件夹下，这个过程很耗时耗力。可以找同学帮忙~，如图
这里写图片描述

测试

测试代码如下首先对测试验证码进行上述操作，然后和选出来的模板进行比较，采用差分值最小的模板作为测试样本的字符选择，代码如下

% 具有差分最小值的图作为答案
mydir='./test/';
samples = './samples/';
if mydir(end)~='\'
    mydir=[mydir,'\'];
end
if samples(end)~='\'
    samples=[samples,'\'];
end
DIRS=dir([mydir,'*.jpg']);  %扩展?
DIRS1=dir([samples,'*.jpg']);  %扩展名
n=length(DIRS);%验证码总图数
singleerror = 0;%单个错误
uniterror = 0;%一张验证码错误个数
for i=1:n
    if ~DIRS(i).isdir
        realcodes = DIRS(i).name(1:4);
        fprintf('验证码实际字符:%s\n',realcodes);
        img = imread(strcat(mydir,DIRS(i).name ));
        img = rgb2gray(img);
        img = im2bw(img);
        img = 1-img;%颜色反转让字符成为联通域
        subimgs = [];
        for ii = 0:3
            region = [ii*20+1,1,19,20];%奇怪,为什么这样才能均分？
            subimg = imcrop(img,region);
            imlabel = bwlabel(subimg);
            if max(max(imlabel))>1 % 说明有杂点
                stats = regionprops(imlabel,'Area');
                area = cat(1,stats.Area); 
                maxindex = find(area == max(area));
                area(maxindex) = 0;          
                secondindex = find(area == max(area));        
                imindex = ismember(imlabel,secondindex);
                subimg(imindex==1)=0;%去掉第二大连通域
            end
            subimgs = [subimgs;subimg];
        end
        codes = [];
        for ii = 0:3
            region = [ii*20+1,1,19,20];
            subimg = imcrop(img,region);
            minwidth = 20;
            for angle = -60:60
                imgr=imrotate(subimg,angle,'bilinear','crop');%crop 避免图像大小变化
                imlabel = bwlabel(imgr);
                stats = regionprops(imlabel,'Area');
                area = cat(1,stats.Area);
                maxindex = find(area == max(area));
                imindex = ismember(imlabel,maxindex);%最大连通域为1
                [y,x] = find(imindex==1);
                width = max(x)-min(x)+1;
                if width<minwidth
                    minwidth = width;
                    imgrr = imgr;
                end
            end
            mindiffv = 1000000;
            for jj = 1:length(DIRS1)
                imgsample = imread(strcat(samples,DIRS1(jj).name ));
                imgsample = im2bw(imgsample);
                diffv = abs(imgsample-imgrr);
                alldiffv = sum(sum(diffv));
                if alldiffv<mindiffv
                    mindiffv = alldiffv;
                    code = DIRS1(jj).name;
                    code = code(1);
                end
            end
            codes = [codes,code];
        end
        fprintf('验证码测试字符:%s\n',codes);
        num = codes-realcodes;
        num = length(find(num~=0));
        singleerror = singleerror + num;
        if num>0
            uniterror = uniterror +1;
        end
        fprintf('错误个数:%d\n',num);
    end
end
fprintf('\n-----结果统计如下-----\n\n');
fprintf('测试验证码的字符数量:%d\n',n*4);
fprintf('测试验证码的字符错误数量:%d\n',singleerror);
fprintf('单个字符识别正确率:%.2f%%\n',(1-singleerror/(n*4))*100);
fprintf('测试验证码图的数量:%d\n',n);
fprintf('测试验证码图的错误数量:%d\n',uniterror);
fprintf('填对验证码的概率:%.2f%%\n',(1-uniterror/n)*100);
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
验证码实际字符:2B4E
验证码测试字符:2B4F
错误个数:1
验证码实际字符:4572
验证码测试字符:4572
错误个数:0
验证码实际字符:52CY
验证码测试字符:52LY
错误个数:1
验证码实际字符:83QG
验证码测试字符:85QG
错误个数:1
验证码实际字符:9992
验证码测试字符:9992
错误个数:0
验证码实际字符:A7Y7
验证码测试字符:A7Y7
错误个数:0
验证码实际字符:D993
验证码测试字符:D995
错误个数:1
验证码实际字符:F549
验证码测试字符:F5A9
错误个数:1
验证码实际字符:FMC6
验证码测试字符:FMLF
错误个数:2
验证码实际字符:R4N4
验证码测试字符:R4N4
错误个数:0

-----结果统计如下-----

测试验证码的字符数量:40
测试验证码的字符错误数量:7
单个字符识别正确率:82.50%
测试验证码图的数量:10
测试验证码图的错误数量:6
填对验证码的概率:40.00%
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39

转载：https://blog.csdn.net/baihuaxiu123/article/details/55506801

冰阔落
关注
专栏目录
[机器学习]利用KNN算法进行验证码识别
图解AI
02-17 1万+
文章:用KNN来进行验证码识别前言对那些及其简单的验证码,可以用KNN算法来破解,这里整理了一个思路,可以了解了解.那么KNN算法原理是什么呢?KNN原理 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类
KNN-验证码识别
zqzq19950725的博客
01-11 499
1、验证码数据集 验证码captcha 是是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。可以防止：恶意破解密码、刷票、论坛灌水等。 本章主要以MNIST数据集为例介绍数字型验证码，MNIST是一个入门级...
机器学习之KNN识别验证码
12-25
https://mp.csdn.net/mdeditor/85250661 使用Knn完成验证码识别，环境是python3+jupyter notebook。做完这个就会对knn有深入的理解
基于Python的KNN数字验证码识别
m0_63019653的博客
02-27 1814
本项目基于Python爬虫爬取验证码图片，对图片进行去噪、分割，通过KNN算法训练模型，实现验证其准确率。
KNN实现验证码识别
WGS.
07-17 803
源码地址： KNN算法我们主要要考虑三个重要的要素，对于固定的训练集，只要这三点确定了，算法的预测方式也就决定了。这三个最终的要素是k值的选取，距离度量的方式和分类决策规则。 对于k值的选择，没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适的k值。 选择较小的k值，就相当于用较小的领域中的训练实例进行预测，训练误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是泛化误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟
KNN算法实战：验证码的识别
01-27
本文来自于biaodianfu，文章主介绍了二值化、字符切割、字符识别等，使用KNN进行验证码的识别的相关内容。识别验证码的方式很多，如tesseract、SVM等。今天主要学习的是如何使用KNN进行验证码的识别。 本次实验采用...
python ： knn算法——批量识别验证码.rar
04-13
Python中的KNN（K-...总的来说，通过Python的KNN算法进行验证码识别，我们可以学习到图像预处理、特征提取、模型训练和评估等多个环节，这不仅有助于理解机器学习的基本流程，也为解决实际问题提供了有价值的工具。
我佛了！用KNN实现验证码识别，又 Get 到一招！
AI科技大本营
05-19 3135
作者|李秋键责编| Carol出品|AI科技大本营（ID：rgznai100）头图 | CSDN付费下载自视觉中国验证码使我们生活中最为常见的防治爬虫和机器人登录攻击的手段，一般的验...
（一）机器学习之kNN算法理论实战讲解（验证码识别）
AlexTan_的博客
11-09 1926
机器学习之Knn算法（Python实现） 作者: AlexTan  CSDN: http://blog.csdn.net/alextan_  e-mail: alextanbz@gmail.com  Github: https://github.com/AlexTan-b-z   1. knn算法（邻近算法）介绍： 邻近算法，或者说K最近邻(kNN，k-NearestNeighbor
机器学习,深度学习图片验证码9000张
03-21
深度学习图片验证码训练集，9000张图片 9000个验证码图
机器学习之验证码识别
Alis_豪的博客
03-24 1万+
项目背景： 之所以做这个其实很久就有这个想法了，因为搞爬虫有大半年了，怕热很多网站，也模拟登陆了许多网站，包括知乎微博等，但是有个问题是，当我们遇到验证码的时候，就需要人工打验证码了，特别是用selenium登录新浪手机端的时候，每次都需要人为打验证码，感觉还不够全自动。所以就有了这个摸索。 ---------------------------------------------------
验证码识别（KNN算法）
赏星乐事
08-06 1377
算法原理 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的
机器学习：KNN归类算法实现验证码识别
热门推荐
陈海鹏的博客
04-10 2万+
算法简介KNN（K Nearest Neighbor）是机器学习中非常经典的，同时也容易理解的算法。与K-Means算法用于聚类不同的是，KNN是为事物的归类而生的。简单地说，就是知道一批事物的数据特征及各自所属的分类，来根据一个新事物的数据特征来判断其最大可能归属于其中的哪一类的过程。这个判断依据即是计算欧式距离，得到新数据特征向量与原有数据特征向量距离最小的前K个事物所属的分类，得到的这些分类中
利用机器学习识别验证码（从0到1）
李玺
06-07 4998
最近喜欢先把测试结果图放前面。大家可以先看下效果。 识别速度并不是很快，代码并没有进一步优化。 本篇主要讲的是 从制作验证码开始，到我们利用机器学习识别出来结果的过程。 之前写过一篇利用opencv进行验证码处理，感兴趣可以看看，本篇的验证码并没有过多处理：https://blog.csdn.net/weixin_43582101/article/details/90609399 利用机器学习识...
机器学习案例：验证码识别(Captcha)
C_teacher的博客
06-07 2412
验证码（CAPTCHA，全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人工智能的全自动程序。 实验步骤： 1、创建验证码 2、对验证码进行01值化 3、降噪 4、对验证码进行切分 5、对切分后的验证码进行图片转数字化 6、使用逻辑回归建模 7、对新输入的图片进行预测 验证码的创建 1、随机生成验证码的颜色 2、随机生成验证码数字 3、使用PIL进行画图 import os from PIL import Image from PIL import ImageDraw from PI
15分钟实战机器学习：验证码（CAPTCHA）识别
新缸中之脑
12-15 2万+
让我们使用机器学习（machine learning）来绕过世界上最流行的Wordpress验证码插件！ 每个人都不喜欢验证码（CAPTCHA） - 那些令人讨厌的图像中包含了你必须正确输入的文本，只有输入成功后才能访问网站。 验证码旨在通过验证你是一个真实的人来防止机器（蠕虫）自动填写表格。 但随着深度学习和计算机视觉的兴起，现在很容易使用机器来自动识别验证码了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值