15天学会爬虫 第十二天

爬虫

第十二天

分布式爬虫的实现

1. 创建爬虫类

   scrapy genspider itcast itcast.cn

2. 修改继承类为scrapy_reids中的RedisSpider

3. 删除原有的start_urls

4. 添加存在start_urls在redis数据库中的键

   from scrapy_redis.spiders import RedisSpider
   
   class ItcastSpider(RedisSpider):
       name = 'itcast'
       allowed_domains = [