python网络爬虫（第八章：图像识别与文字处理）

1.OCR技术概述

OCR(Option Character Recognition，OCR)：指对文本资料的图像文字进行分析识别处理，获取文字及版本信息的技术。

将图片翻译成文字一般被称为 光学文字识别OCR

OCR过程：

1.图像输入（常用语存取图像的开源项目：OpenCV和CxImage等）
2.预处理（二指化、噪音清除、倾斜校正）
3.版本分析
4.字符切割
5.字符识别
6.版面恢复
7.后处理、核对

2.Tesseract

Tesseract是一个开源的OCR库。

2.1安装

安装网址：https://digi.bib.uni-mannheim.de/tesseract/

1.下载win64位系统的Tesseratc-ORC
2.傻瓜式安装
3.设置全局变量，在环境配置中添加Path【F:\Tesseract4.0.0\Tesseract-OCR】
4.cmd中输入pip install pytesseract
5.cmd中输入pip install pillow
6.验证 在Anaconda Prompt中输入tesseract -v

3.验证码

3.1验证码分类

1.图片验证码
2.手机短信验证码
3.语音验证码
4.智力测试答题验证码
验证码和爬虫的关系：验证码是一种反爬机制。
识别验证码的操作：
1.人工肉眼识别
2.第三方自动识别（推荐）
如：超级鹰

超级鹰的使用

超级鹰官网：https://www.chaojiying.com/
1.注册（普通用户）
2.登录（普通用户）
	提分查询（充值1元=1000积分）
	创建一个软件（点击软件ID--->输入软件名称--->获取到软件ID列表【获得软件ID和软件KEY】）
	下载示例代码：（点击【开发文档】--->点击【python】--->点击【点击这里下载】）

案例1.超级鹰的使用本地验证图片

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


fp = 'C:\\Users\\14210\\PycharmProjects\\pythonProject\\第七章\\1.png'
chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰密码', '软件ID')	#用户中心>>软件ID 生成一个替换 96001
im = open(fp, 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
print(chaojiying.PostPic(im, 9004))     #9004验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
print(chaojiying.PostPic(im, 9004))['pic_str']#获取检验到的图片坐标

print('验证成功！！！')

案例2：为输入验证码登录12306

from selenium import webdriver
from time import sleep
from PIL import Image
import pytesseract

driver = webdriver.Chrome('./chromedriver.exe')

#发送url请求
driver.get('https://kyfw.12306.cn/otn/resources/login.html') \

#定位标签
pass1 = driver.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a') #find_elements_by_link_text() 通过连接文本定位页面元素
pass1.click()

username = driver.find_element_by_id('J-userName')
password = driver.find_element_by_id('J-password')

username.send_keys('11111111')
password.send_keys('1111111111111')

login = driver.find_element_by_id('J-login')
login.click()

sleep(2)
driver.quit()

案例3 输入验证码登录12306

步骤如下:

1.使用selenium打开登录页面
2.对当前selenium打开的页面进行截图
3.对当前图片局部区域【验证码图片】进行裁剪
4.使用超级鹰识别验证码图片【坐标】

from selenium import webdriver
from time import sleep
from PIL import Image
from pytesseract import *
from selenium.webdriver import ActionChains

driver = webdriver.Chrome('./chromedriver.exe')
driver.maximize_window()  #全屏显示   因为不同的显示屏，验证码出现的位置是不一样的

#发送url请求
driver.get('https://kyfw.12306.cn/otn/resources/login.html')
sleep(2)

#定位标签
pass1 = driver.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a') #find_elements_by_link_text() 通过连接文本定位页面元素
pass1.click()

#生成页面快照 save_srcreenhot()保存当前页且进行保存
driver.save_screenshot('./aaa.png')

#截取验证码图片
code_img_ele = driver.find_element_by_xpath('//*[@id="J-loginImg"]')
location = code_img_ele.location  #返回验证码左上角的坐标
print('location',location)
size = code_img_ele.size  #标签下的验证码对应的长和宽
print('size',size)


#确定左上角和右下角的坐标x,y。所以共4个坐标
rangle = (
    int(location['x']*1.5),int(location['y']*1.5),int((location['x'] + size['width'])*1.5),int((location['y'] + size['height'])*1.5),
)   #通过设置--->系统--->缩放与布局【150%】 这个是win10系统下，我的电脑显示设置


print(rangle)
#验证码定位
i = Image.open('./aaa.png')
code_img_name = 'code.png'
frame = i.crop(rangle)   #crop()根据指定区域进行图片裁剪
frame.save(code_img_name)

#超级鹰获取验证码坐标
from ChaoJiYing import *
chaojiying = Chaojiying_Client('超级鹰登陆名', '超级鹰密码', '软件ID')	#用户中心>>软件ID 生成一个替换 96001
im = open('./code.png', 'rb').read()												#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
# print(chaojiying.PostPic(im, 9004))     #9004验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
# print(chaojiying.PostPic(im, 9004)['pic_str'])  #获取检验到的图片坐标

results = chaojiying.PostPic(im, 9004)['pic_str']
print(results)
print('=============')


all_list = []   #存储需要点击的店的坐标 [[x1,y1],[x2,y2]]
if '|' in results:
    list_1 = results.split('|')
    count_1 = len(list_1)
    print(count_1)
    for i in range(count_1):
        xy_list = []
        x = int(list_1[i].split(',')[0])
        y = int(list_1[i].split(',')[1])
        xy_list.append(x)
        xy_list.append(y)
        all_list.append(xy_list)
else:   #只有一个元素的时候
    x = int(results.split(',')[0])
    y = int(results.split(',')[1])
    xy_list = []
    xy_list.append(x)
    xy_list.append(y)
    all_list.append(xy_list)

print(all_list)

#遍历列表，使用动作链对每一个列表元素对应的x,y指定的位置进行点击操作
for j in all_list:
    x=j[0]*(2/3)
    y=j[1]*(2/3)
    ActionChains(driver).move_to_element_with_offset(code_img_ele, x, y).click().perform()
    sleep(0.3)


username = driver.find_element_by_id('J-userName').send_keys('111111111')
password = driver.find_element_by_id('J-password').send_keys('11111111111')

login = driver.find_element_by_id('J-login')
login.click()

# sleep(2)
# driver.quit()