KDF5000的专栏

rq 是Python的一个第三方模块，使用rq可以方便快速的实现Python的队列操作，实现多态电脑的分布式架构。其中 R是Redis的意思，Q是Queue的首字母，rq使用Redis和Queue实现分布式，分别实现了Master和Worker，通过Redis存储任务队列。Ubuntu14.04 安装rq假设已经安装了Python和pip，本文通过`pip来安装rq$sudo pip install

最近在学习爬虫，早就听说Python写爬虫极爽（貌似pythoner说python都爽，不过也确实，python的类库非常丰富，不用重复造轮子），还有一个强大的框架Scrapy，于是决定尝试一下。要想使用Scrapy第一件事，当然是安装Scrapy，尝试了Windows和Ubuntu的安装，本文先讲一下 Ubuntu的安装，比Windows的安装简单太多了。。。抽时间也会详细介绍一下怎么在Windo

RSpider一个基于scrapy-redis的分布式爬虫模板，在scrapy-redis自带的example的基础上进行修改，添加在实际爬取过程中大部分爬虫可能用到的功能，使的构建分布式爬虫更加的简单。 scrapy-redis: https://github.com/darkrho/scrapy-redis安装RedisWindowsRedis官网没有windows的安装程序，但是微软的MsO