朋友们大家好,python爬虫是在学习python时比较容易上手的学习方式,爬虫的思路简要以下几点:
1.获取需要爬取页面的网址,并且对网页内容进行分析。(主要就源代码讨论,如果我们需要的内容没有在源代码出现,则需要进行抓包分析)
2.找到我们需要爬取的内容时我们就要用正则表达式、beautifulsoup或者是xpath进行切割我们需要的字段。
3.将爬取到的内容进行存储。
这是一般网站爬取的基本点,但是我们在遇到需要登陆或者注册的网站时就会遇到验证码,验证码的出现就是为了区分人和机器,但是随着现在人工智能的发展,这种区分已经不明确了,在python中有PIL库进行图像处理、机器学习也能更好地解决验证码的问题,下面就中国执行信息公开网(http://shixin.court.gov.cn/)给大家进行详细的讲解。
咳咳 大家注意这一行字!!!!!!!!
一、事前准备
1.python版本 python2.7
2.系统版本 ubantu 16.04
3.所需库
import urllib2
import urllib
from bs4 import BeautifulSoup
import time
import re
import requests(包含了我爬取"中国执行信息公开网"的所有用到的库)
使用了beautifulsoup+正则表达式的方式提取我需要的内容
二、查看网站
推荐使用谷歌浏览器 使用F12键进入前端调试(有的电脑需要使用Fn+F12 比如我的)
火狐浏览器显示我实在不喜欢,所以推荐使用谷歌的 有喜欢火狐的童鞋们也可以使用
点击进来我们可以看到一个类似于登陆和注册的查询表单,我们通过查看页面源代码可以发现下图这样的信息
可以发现我们需要的是pname、pcardname、pprovince以及我们需要的验证码pcode。然后我就想直接写入这些内容直接post响应,然后我发现以下:
出现错误,点开F12可以发现post响应中提交了五个信息:
那么最后一个信息我们应该能够猜到是和验证码绑定的id号(比如说我们两个人同时登陆网站,同时提交了验证码然后进行验证,系统如何知道我们提交的验证码是否正确,就是通过绑定的id号来识别)所以我们现在的工作就是要找到对应的id号。
三、找到对应的id号
首先通过分析get响应可以发现我们实际提交的表单在网页 http://shixin.court.gov.cn/index_new_form.do中,打开链接能够看到:
这就是一个单独版的表单嘛!!查看源代码:
能够看到:
src="captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4255476101932901" title="点击重新获取验证码"
onclick="this.src='captchaNew.do?captchaId=39821d3fd1a2470ca658bb18585093fc&random=0.4984367166835566'"
能够发现id号隐藏在其中的,还有random号,共同组成了我们需要查看的网页(感觉就是把原网页进行了分割)
这一部分代码的实现我是采用了beautifulsoup实现的,代码如下:
url="http://shixin.court.gov.cn/index_new_form.do"
data=requests.get(url).content.encode('utf-8')
soup=BeautifulSoup(data,'lxml')
captchaId = soup.find('img',attrs={'id':'captchaImg'})['src'].split('?')[1].split('&')[0].split('=')[1]
四、识别验证码
扯了这么多现在回到我们最原始的问题,那么我们应该怎么去识别验证码呢?
首先我们要了解python的图像识别库 python image libary,叫做PIL库
1.首先要安装pil库,pip install pil不能安装的童鞋可以参考这篇文章
2. pytesser(识别验证码的库,需要使用Tesseract这个开源项目)
3.Tesseract
全部安装完成后我们就要对网站的验证码进行查看
#!/usr/bin/env python2
# -*- coding: utf-8 -*-
import sys
import urllib2
import urllib
import time
import re
reload(sys)
sys.setdefaultencoding('utf8')
headers=("User-Agent",
"Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/60.0")
opener=urllib2.build_opener()
opener.addheaders=[headers]
urllib2.install_opener(opener)
for i in range(1,1500):
url="http://shixin.court.gov.cn/captchaNew.do?captchaId=6eb54a8c64f84a84b6490db24671c310&random="+str(i)
data=urllib2.urlopen(url).read()
#data=urllib2.quote(data).decode('utf-8')
file="/home/yang/png/test/"+str(i)+".png"
playFile = open(file, 'wb')
playFile.write(data)
playFile.close()
time.sleep(1)
通过这部分代码可以在执行信息公开网上下载验证码,我们可以发现,其实验证码就这几种:
1.第一种看似很简单,但能够看到它整体有一种毛糙感,(浑身都是噪点的感觉,具体也不是专业做这方面的,对这块也不熟悉,反正这个验证码还不能解决,希望和大大们一起探讨探讨)
2.这种验证码含有干扰线,但我们能够发现颜色占主体的还是四个字符,所以我们可以通过获取颜色最多的四种颜色来去除干扰线
3.第三种就十分简单了,整体扭曲的程度也不大,可以直接使用pytesseract.image_to_string()来得到
五、对验证码的处理
对验证码的处理大致分为:去除噪点、去除干扰线(如果存在干扰线)、二值化(生成灰度图)
1.去除噪点,直接上代码:
def fall (img):#img:图片地址
white = (255,255,255,255)
black = (0,0,0,255)
#img = Image.open('/home/yang/png/0.png') # 读入图片
pixdata = img.load()
X = img.size[0]-1#因为我校的验证码二值化后正好剩下一圈宽度为一像素的白边,所以这么处理了
Y = img.size[1]-1
def icolor(RGBA):
if RGBA == white:
return(1)
else:
return(0)
for y in range(Y):
for x in range(X):
if (x<1 or y<1):
pass
else:
if