python爬虫遇到验证码的处理方法（以爬取中国执行信息公开网为例）

朋友们大家好，python爬虫是在学习python时比较容易上手的学习方式，爬虫的思路简要以下几点：

    1.获取需要爬取页面的网址，并且对网页内容进行分析。（主要就源代码讨论，如果我们需要的内容没有在源代码出现，则需要进行抓包分析）

    2.找到我们需要爬取的内容时我们就要用正则表达式、beautifulsoup或者是xpath进行切割我们需要的字段。

    3.将爬取到的内容进行存储。

这是一般网站爬取的基本点，但是我们在遇到需要登陆或者注册的网站时就会遇到验证码，验证码的出现就是为了区分人和机器，但是随着现在人工智能的发展，这种区分已经不明确了，在python中有PIL库进行图像处理、机器学习也能更好地解决验证码的问题，下面就中国执行信息公开网（http://shixin.court.gov.cn/）给大家进行详细的讲解。

咳咳   大家注意这一行字！！！！！！！！

一、事前准备

1.python版本    python2.7

2.系统版本   ubantu 16.04

3.所需库  

    import urllib2
    import urllib
    from bs4 import BeautifulSoup 
    import time
    import re

    import requests（包含了我爬取"中国执行信息公开网"的所有用到的库）

使用了beautifulsoup+正则表达式的方式提取我需要的内容

二、查看网站

推荐使用谷歌浏览器     使用F12键进入前端调试（有的电脑需要使用Fn+F12  比如我的）

火狐浏览器显示我实在不喜欢，所以推荐使用谷歌的  有喜欢火狐的童鞋们也可以使用

点击进来我们可以看到一个类似于登陆和注册的查询表单，我们通过查看页面源代码可以发现下图这样的信息

可以发现我们需要的是pname、pcardname、pprovince以及我们需要的验证码pcode。然后我就想直接写入这些内容直接post响应，然后我发现以下：

出现错误，点开F12可以发现post响应中提交了五个信息：

那么最后一个信息我们应该能够猜到是和验证码绑定的id号（比如说我们两个人同时登陆网站，同时提交了验证码然后进行验证，系统如何知道我们提交的验证码是否正确，就是通过绑定的id号来识别）所以我们现在的工作就是要找到对应的id号。

三、找到对应的id号

首先通过分析get响应可以发现我们实际提交的表单在网页    http://shixin.court.gov.cn/index_new_form.do中，打开链接能够看到：

这就是一个单独版的表单嘛！！查看源代码：

能够看到：

src="captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4255476101932901" title="点击重新获取验证码"

onclick="this.src='captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4984367166835566'"

能够发现id号隐藏在其中的，还有random号，共同组成了我们需要查看的网页（感觉就是把原网页进行了分割）

这一部分代码的实现我是采用了beautifulsoup实现的，代码如下：

url="http://shixin.court.gov.cn/index_new_form.do"
data=requests.get(url).content.encode('utf-8')
soup=BeautifulSoup(data,'lxml')
captchaId = soup.find('img',attrs={'id':'captchaImg'})['src'].split('?')[1].split('&')[0].split('=')[1]

四、识别验证码

扯了这么多现在回到我们最原始的问题，那么我们应该怎么去识别验证码呢？

首先我们要了解python的图像识别库 python image libary，叫做PIL库

1.首先要安装pil库，pip install pil不能安装的童鞋可以参考这篇文章

2. pytesser（识别验证码的库，需要使用Tesseract这个开源项目） 

3.Tesseract

全部安装完成后我们就要对网站的验证码进行查看

#!/usr/bin/env python2
# -*- coding: utf-8 -*-
import sys
import urllib2
import urllib
import time
import re
reload(sys)
sys.setdefaultencoding('utf8')  

headers=("User-Agent",
"Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/60.0")
opener=urllib2.build_opener()
opener.addheaders=[headers]
urllib2.install_opener(opener)

for i in range(1,1500):
	url="http://shixin.court.gov.cn/captchaNew.do?captchaId=6eb54a8c64f84a84b6490db24671c310&random="+str(i)
	data=urllib2.urlopen(url).read()
	#data=urllib2.quote(data).decode('utf-8')
	file="/home/yang/png/test/"+str(i)+".png"
	playFile = open(file, 'wb')
	playFile.write(data)
	playFile.close()
	time.sleep(1)

通过这部分代码可以在执行信息公开网上下载验证码，我们可以发现，其实验证码就这几种：

         

1.第一种看似很简单，但能够看到它整体有一种毛糙感，（浑身都是噪点的感觉，具体也不是专业做这方面的，对这块也不熟悉，反正这个验证码还不能解决，希望和大大们一起探讨探讨）

2.这种验证码含有干扰线，但我们能够发现颜色占主体的还是四个字符，所以我们可以通过获取颜色最多的四种颜色来去除干扰线

3.第三种就十分简单了，整体扭曲的程度也不大，可以直接使用pytesseract.image_to_string()来得到

五、对验证码的处理

对验证码的处理大致分为：去除噪点、去除干扰线（如果存在干扰线）、二值化（生成灰度图）

1.去除噪点，直接上代码：

def fall (img):#img：图片地址 
    white = (255,255,255,255)
    black = (0,0,0,255)
    #img = Image.open('/home/yang/png/0.png') # 读入图片
    pixdata = img.load()
    X = img.size[0]-1#因为我校的验证码二值化后正好剩下一圈宽度为一像素的白边，所以这么处理了
    Y = img.size[1]-1

    def icolor(RGBA):
        if RGBA == white:
            return(1)
        else:
            return(0)

    for y in range(Y):
        for x in range(X):
            if (x<1 or y<1):
                pass
            else:
                if