网络爬虫 - 9 自动识别验证码与初识Scrapy框架

自动识别验证码与初识Scrapy框架

1、多线程优化

2、登录古诗文

登录：直接发送post，然后发送get
    登录：先发送get，获取一下信息，然后再发送post，然后发送get
    登录：get、post、get、get。  访问登录后的页面
    验证码，下载到本地，手动输入

3、自动识别验证码

（1）光学识别 tesseract

    指令识别

识别率不行，但是可以训练它

    代码识别

pip install pytesseract
pip install pillow
通过图像处理处理一下图片，然后再去识别，提高识别率

(2）打码平台

(2）打码平台

云打码

4、scrapy

Scrapy是一个非常强大、精悍的Python网络爬虫框架，它的底层使用Python语言实现的, 为了爬取网站数据，提取结构性数据而编写的应用框架。 可以