超级会员免费看
本文介绍了开源爬虫项目OpenSpider的初次提交，它利用Python、Celery、Redis和RabbitMQ实现了一个灵活的爬虫框架。通过Tornado开启20个协程，从队列获取URL，利用Celery进行分布式任务处理。Selenium用于处理JavaScript，BeautifulSoup解析页面并抓取新URL。代码结构包括SpiderCelery（Celery相关）、tests（测试）、tries（教程）和main.py（程序入口）。启动流程涉及先启动Celery worker，再运行主程序。
OpenSpider github地址：
https://github.com/happyAnger6/OpenSpider
主要目的是学习使用python以及各种开源软件实现一个灵活的爬虫框架，这系列文章主要是对实现的过程进行介绍。
第一次提交主要实现以下功能：
主函数通过tornado库开启20个协程不断的从队列中获取url,直到url队列为空。获取到URL后，将页面的抓取工作交由Celery任务队列，这样实现了爬取任务的分布式。
爬取工作考虑到javascript的存在，通过selinum进行页面获取；获取到页面后通过BeautifulSoup进行页面解析，并抓取页面中的URL，将URL列表返回协程。协程将返回的URL放入队列。
代码结构介绍：
订阅专栏 解锁全文
1465
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
