如何将scrapy爬虫转换为scrapy_redis爬虫?
注意事项:在阅读本文之前,必须具备使用scrapy编写爬虫的能力。
使用scrapy框架就可以快速开发一个爬虫,如果针对一个大型的网站,单机爬虫就会显得心有余而力不足。那么有没有便捷的办法是单机爬虫转换为分布式爬虫呢?
首先需要了解单机爬虫与分布式爬虫的区别:
我们先来查看两张思维导图:
scrapy 框架实现原理
scrapy_redis 框架实现原理
在上述两张图示中我们可...
原创
2019-02-25 20:20:04 ·
842 阅读 ·
0 评论