scrapy.shell 碰到503的错误

这几天刚刚学习scrapy的时候，有的时候想用scrapy.shell验证一下xpath的正确性，方便点，但经常遇到503的错误，所以总结一下：
打开cmd直接输入scrapy.shell，

就会报错503

所以我们需要这样做，进入项目的spiders文件夹

然后就ok了

但是在这之前，我们还需要设置一些东西，进入你要爬的网站，比如http://www.xicidaili.com/nn/ 然后F12打开开发者工具，在network里找到第一个
把USER_AGENT放到settings.py里去

这样就不会报503的错误了

当然。如果你只是想简单的scrapy shell一下，那么直接在scrapy shell -s USER_AGENT='Mozilla/5.0' +url 就OK了

转载请注明出处