qq_42784104的博客

原创 基于scrapy_redis部署scrapy分布式爬虫

分布式爬虫的意义       在这个高度信息化的时代，数据就代表可能性，无论是虚拟的还是现实的，掌握的数据越多，就代表拥有了更多的财富。那么如何获取数据，最方便的自然是利用Python这门语言得天独厚的优势去做爬虫，从网上去获取数据，但是数据这种动辄几百万几千万的数量级，怎么能在最短的时间获取最多的有效的数据，就要用到我们今天的主角-----分布式了。分布式的原理简单的说就是让一台计算机工作变...