本文介绍了如何将一个单机版的新浪微博爬虫改造为分布式爬虫。采用Python2.7环境，使用Scrapy框架结合scrapy_redis和Redis进行任务调度，MongoDB和Redis分别用于数据存储和任务管理。分布式系统中，Master负责调度，Slaver负责抓取，通过Redis进行Request的去重和分发，确保多台Slaver之间的协同工作。要运行该项目，需安装Scrapy、pymongo等相关库，并配置MongoDB和Redis。
爬虫功能：
此项目实现将单机的新浪微博爬虫重构成分布式爬虫。
Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。
环境、架构：
开发语言：Python2.7
开发环境：64位Windows8系统，4G内存，i7-3612QM处理器。
数据库：MongoDB 3.2.0、Redis 3.0.501
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）
爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。
分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。原理是：Slaver运行的时候，scrapy遇到Request并不是交给spider去爬，而是统一交给Master机上的Redis数据库，spider要爬的Request也都是从Redis中取来的，而Redis接收到Request后先去重再存入数据库，哪个Slaver要Request了再给它，由此实现任务协同。
使用说明：
Python需要安装好Scrapy、pymongo、json、base64、requests。
Master机只需要安装好Redis即可（内存要求大点），Slaver机需要安装python环境和MongoDB来存储数据。如果想要将数据都存储到一台机子上，直接改一下爬虫程序（pipe
最低0.47元/天 解锁文章
扫一扫
802
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
