用scrapy-redis分布式爬虫爬取房天下广州的租房信息

我做过用selenium爬取房天下的租房信息，也用过ajax分析接口爬取房天下的租房信息，但是前两次任务都是小规模地爬取，爬取的量比较小。所以这次准备大规模地爬取租房信息，使用scrapy-redis分布式爬虫来爬取，我只有一台电脑，但是我做了两个爬虫来同时爬取，一个从首页中爬取出子页面的链接，一个从子页面中爬虫租房的详细信息，在Pycharm下同时运行两个py文件。
在settings.py文件中添加如下设置

ROBOTSTXT_OBEY = False
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
#处理重定向
MEDIA_ALLOW_REDIRECTS = True
DEFAULT_REQUEST_HEADERS = { #添加请求头
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'referer': 'https://m.fang.com/zf/bj/?jhtyp