数据抓取之反爬虫规则:验证码识别

数据抓取过程中,验证码是一个必须面对的坎。总体来说验证码识别分两种,机器识别和人工识别,随着现在验证码越来越变态,要想机器识别验证码已经越来越难了,典型的入12306那种已经更改为图像识别,而不是简单文字识别了。验证码识别技术有很多,这里仅总结自己在项目中用的的两种方式:

  • 基于开源的Tesseract-OCR的技术
  • 商业的验证码识别服务,这里就不说服务商的名字了,不广告,有需要的可以邮件联系,(其实是反正也没有钱拿,干嘛给别人打广告)

开源的Tesseract-OCR图片识别引擎

  • 关于Tesseract-OCR,这里简单介绍下:开源的OCR识别引擎,初期Tesseract引擎由HP实验室研发,后来贡献给了开源软件业,后经由Google进行改进,消除bug,优化,重新发布。

  • 下载地址在这里,http://code.google.com/p/tesseract-ocr 需翻墙,更多详细介绍,自行搜索。

  • 这个软件windows和linux版本都有,linux系统中下载的时候主要要下载相关依赖。

  • 下载完毕后直接通过命令行可以测试使用。详细不解释,自行搜索。

  • 这里说明一点,我在项目中并没有直接使用这个引擎,而是使用了一个国人封装的一个库,这里广告以下,叫做EasyOCR ,开源软件,用了就帮人家喊一嗓子。具体用法自行看文档,文档很清楚了:http://www.easyproject.cn/easyocr/zh-cn/index.jsp

商业的验证码识别服务

  • 商业的验证码识别服务有很多,自行搜索。
  • 这里说明一点,很多商业的验证码识别服务,其实后台实现上也是使用一些商业或者开源的验证码识别软件,而复杂的验证码,比如计算题成语题之类的,基本都是采用人工打码的方式,所以用着些服务的时候延迟比较厉害,可能会3到5秒,有时候甚至十多秒,想了解的可以自行搜索人工打码

也可一去我的个人站点 查看
或者,欢迎关注俺的微信订阅号,每天一篇小笔记,每天提高一点点:
公众好:enilu123

Python网络爬虫在爬取网页数据时,常常会遇到反爬机制。为了防止被爬虫程序大量访问,网站会采取一些措施来限制爬虫的访问。以下是一些常见的反爬机制和对应的应对方法: 1. 验证码:网站可能会在登录、提交表单或访问频率过高时出现验证码爬虫需要通过识别验证码来继续访问网站。常见的验证码识别方法有使用第三方库(如Tesseract、Pillow)进行图像处理和识别,或者使用打码平台(如云打码、超级鹰)进行自动识别。 2. User-Agent检测:网站可能会通过检测请求头中的User-Agent字段来判断是否为爬虫。为了应对这种反爬机制,可以使用随机的User-Agent来模拟不同的浏览器和操作系统,使爬虫看起来更像是真实用户的访问。 3. IP封禁:网站可能会根据IP地址来限制爬虫的访问。为了应对IP封禁,可以使用代理IP来隐藏真实IP地址,或者使用动态IP池来定期更换IP地址。 4. 请求频率限制:网站可能会限制同一IP地址的请求频率,如果请求过于频繁,可能会被封禁或返回错误信息。为了应对频率限制,可以在爬虫程序中设置合理的请求间隔时间,或者使用分布式爬虫来分散请求。 5. 页面解析:网站可能会对页面结构进行加密或混淆,使爬虫难以解析页面内容。为了应对这种情况,可以使用第三方库(如BeautifulSoup、Scrapy)来解析页面,或者使用正则表达式来提取所需数据
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值