爬虫 - 提高爬虫效率的方法

一. 关于爬虫

  • 爬虫,是一种按照一定的规则自动地抓取互联网信息的程序。它的本质是利用程序获取对我们有利的数据。

  • 反爬虫,从不是将爬虫完全杜绝;而是想办法将爬虫的访问量限制在一个可接纳的范围,不要让它过于肆无忌惮。

  • 为什么不是禁止呢?原因很简单。爬虫代码写到最后,已经和真人访问网络毫无区别。服务器的那一端完全无法判断是人还是爬虫。如果想要完全禁止爬虫,正常用户也会无法访问。所以只能想办法进行限制,而非禁止。

二. 提高爬虫效率的方法

  1. 协程。采用协程,让多个爬虫一起工作,可以大幅度提高效率。

  2. 多进程。使用CPU的多个核,使用几个核就能提高几倍。

  3. 多线程。将任务分成多个,并发(交替)的执行。

  4. 分布式爬虫。让多个设备去跑同一个项目,效率也能大幅提升。

  5. 打包技术。可以将python文件打包成可执行的exe文件,让其在后台执行即可。

  6. 其他。比如,使用网速好的网络等等。

三. 反爬虫的措施

  1. 限制请求头,即request header。解决方法:我们可以填写user-agent声明自己的身份,有时还要去填写origin和referer声明请求的来源。

  2. 限制登录,即不登录就不能访问。解决方法:我们可以使用cookies和session的知识去模拟登录。

  3. 复杂的交互,比如设置“验证码”来阻拦登录。这就比较难做,解决方法1:我们用Selenium去手动输入验证码;方法2:我们用一些图像处理的库自动识别验证码(tesserocr/pytesserart/pillow)。

  4. ip限制。如果这个IP地址,爬取网站频次太高,那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法:使用time.sleep()来对爬虫的速度进行限制,建立IP代理池(你可以在网络上搜索可用的IP代理),一个IP不能用了就换一个用。

  5. 其他。

©️2020 CSDN 皮肤主题: 创作都市 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值