运行scrapy spider时,出现Forbidden by robots.txt错误
原因:在settings.py文件里有个ROBOTSTXT_OBEY参数,默认为True。False为拒绝遵守robot协议,True为遵守robot协议
解决:将settings.py文件里的ROBOTSTXT_OBEY参数,设为False.。即ROBOTSTXT_OBEY = False
运行scrapy spider时,出现Forbidden by robots.txt错误
原因:在settings.py文件里有个ROBOTSTXT_OBEY参数,默认为True。False为拒绝遵守robot协议,True为遵守robot协议
解决:将settings.py文件里的ROBOTSTXT_OBEY参数,设为False.。即ROBOTSTXT_OBEY = False