# Obey robots.txt rules##默认遵循robots协议的,默认去读取每个网站上的robots协议
ROBOTSTXT_OBEY = False
转载于:https://www.cnblogs.com/xudj/p/10163723.html
# Obey robots.txt rules##默认遵循robots协议的,默认去读取每个网站上的robots协议
ROBOTSTXT_OBEY = False
转载于:https://www.cnblogs.com/xudj/p/10163723.html