本文介绍了使用selenium进行多进程爬虫时的配置和注意事项，强调了多进程选择、框架选择、任务队列管理、内存泄漏问题以及selenium参数配置，特别是`--user-data-dir`和`--remote-debugging-port`参数的设置，以避免错误和进程隔离问题。
使用多进程
加快爬虫速度的方法有几种，异步，多线程，多进程和分布式，不管是哪种都会用到多实例。这几种方法中，只有多进程适合selenium，selenium本身不支持异步，多线程曾经尝试过似乎有问题。
采用哪种框架
单线程爬虫本身很简单，而大规模的分布式多进程爬虫就比较复杂，Scrapy这种简单的框架拿来学习用或者做简单事情够用了，真实的需求往往比较复杂，需要大量定制，需要对Scrapy非常了解，与其被Scrapy这个框框限制住，不如自己写。没有完全通用的框架，爬虫共通的部分只有URL去重，除非有非常适合需求的框架，否则不如自己写。如果是大规模分布式多进程爬虫，可以采用celery来做分布式框架，爬虫自己写。
自己写爬虫需要注意什么
爬虫归结起来有几个部分：
0.从任务队列中获取URL
单线程爬虫可以直接采用list数据类型，多进程的一般使用数据库比如redis，对任务调度有很复杂的要求的话，可以使用mysql
1.下载网页（借助selenium，requests）
2.分析网页数据和下层链接，按需要保存（使用xpath等等）
3.下层链接按照需要进行筛选，去掉重复URL后，加入任务队列
如果是单线程爬虫，去重可以直接用python的set数据类型，如果是多进程爬虫，通常使用redis的set数据类型。
4.循环直到任务队列为空
采用哪个平台<
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
