scrapy爬虫之gerapy和scrapyd

（详情：https://blog.csdn.net/hsdfz0201/article/details/79600115）

scrapy爬虫

笔者近期有一个特定网站全站爬取的需求。因为全站数据量大，又希望时间开销小。作为一个入门级的爬虫工作者，根据以往经验，笔者（主要使用python编程）设想了以下几种方案：

selenium

1、用 selenium 模拟浏览器爬虫，自己改造框架，使得可以多层全站爬取。 
这里，模拟浏览器的好处在于可以加载运行JS脚本，能够解决一些JS脚本动态生成链接的问题。但是对于全站爬取而非特定页面，这样的时间开销很大，工作也很复杂，不太适合入门级的选手。（关于时间开销，如果有加速的办法和分布式解决方案请给笔者留言）