python爬虫系列——开始入土（三）

验证码

验证码和爬虫之间的爱恨情仇

反爬机制：验证码，识别验证码图片中的数据，用于模拟登陆操作。

识别验证码的操作：

• 人工肉眼操作
• tesserocr库/tesseract库
• 第三方自动识别

cookie

http/https协议特性：无状态
cookie：用来让服务器端记录客户端的相关状态
cookie来源：模拟登录post请求后，由客户端创建
如果请求过程中产生了cookie，则该cookie会被自动存储、携带在该session对象中。

python使用session发送post请求

session.post(url=url, headers=headers, data=data)

关于cookie可以参考：Cookie、Session、AJAX、JSON

代理

代理： 破解封IP这种类型的反爬机制

作用：

• 突破自身IP访问限制
• 隐藏自身真是IP

可以参考：爬虫IP代理池代码记录

代理IP的类型：

• http
• https

代理IP的匿名度：

• 透明：服务器知道该次请求使用了代理，也知道真实请求的IP
• 匿名：知道了使用代理，不知道真实IP
• 高匿：不知道使用了代理，更不知道真实的IP