工欲善其事必先利其器,scrapy工程创建好以后,需要简单设定几个参数,来开启使用
第一个:
源文件下的allowed_domains这个变量需要注释掉,这个变量用来限定哪些进行请求,不在列表中的不进行请求,所以要注释掉,代表对请求不做限制
第二个:
setting.py文件中的ROBOTSTXT_OBEY = True改为ROBOTSTXT_OBEY = False,
setting.py是scrapy的设置文件,ROBOTSTXT_OBEY参数是确定是否遵守网站的robots协议,建议自学的时候改为False
第三个:
当我们运行一个工程,不想出现如下的运行日志,可以在setting.py文件中添加LOG_LEVEL='ERROR'参数,这样,在执行工程的时候就不会出现运