小榕流光的专栏

这几天折腾了一个分布式爬虫，我自己也是刚开始学，查了很多资料，现在终于可以动了，我觉得应该发文纪念一下，也是一个总结．scrapy是一个python的爬虫框架，可以让你很快的开发出一个爬虫，首先假定你已经安装了python, 你还需要安装一下scrapy，可以用pip来安装：1. install Python-pip: sudo apt-get install python-pip2.