python 爬虫性能_讨论如何爬虫性能

如果单纯是性能的话，应该考虑几个方面

1.http 请求尽量采用 pool 的方式保持会话

2.尽可能避免重复 url 和重复页面的抓取

3.不要使用单一磁盘存储，尽可能用一些 Nosql 数据库或内存高速缓存(例如： redis/memcache )

4.降低存储部分冗余，提高存储效率，比如去除空格之类的，如果是二进制文件可以采用一些算法进行压缩存储

5.ajax 类型网站和 flash 网站， Parser 和 download 一定要分开， ajax 类网站的话可能需要考虑一下内存问题，如果使用 phantomjs 如果有可能最好能用 v8 去代替 jscore (过程十分的艰难，不要轻易尝试), 并且禁用安全检测，使用磁盘缓存(硬件方面能使用 ssd 最好了)

6.使用更快速的 dns 服务器，爬虫尽可能去缓存 dns 地址

7.多台机器性能一定高于单台机器

8.在条件允许的情况下用 pypy 代替 cpython 会更好

一些抓取遇到的反制问题

1.由于抓取频率过快，会被服务器认为是 ddos 攻击或爬虫抓取(有时候确实会让服务器宕机)

解决方案：使用代理进行绕过，并实现一些智能算法使爬虫更像人类(例如：一旦被 ban 掉自动切换代理，并减缓抓取速度，如果一定时间内没有被 ban 掉，则提高抓取速度，这样能自适应一个网站能承受的最大速度)

2.遇到验证码

解决方案：简单的验证码通过 hash 感知和一些简单的字模型匹配就能够解决，复杂验证码例如： recapture 这类可以靠人工去识别(有这种打码平台)，如果是第二代验证码基于坐标位置的这类目前暂无解决办法

3.操作需要登录

解决方法：自己注册或购买账号，但是仍然可能可能会遇到问题 2 ，所以不继续说了，需要注意的是，某一些网站会通过一些特定元素的请求判断是是否是真实的登录，如果没有请求是无法成功的

4.异地登录需要验证

1.这种呢，能透露的就是尽可能不要异地登录，其它一些歪门邪道的方法不好说