我们在爬取网站的时候,scrapy 默认的是遵循 robots.txt 协议,怎么破解这个文件 操作很简单,找到setting 文件 直接改成 转载于:https://www.cnblogs.com/xuchunlin/p/7247386.html