scrapy的初始化的一些设定

工欲善其事必先利其器，scrapy工程创建好以后，需要简单设定几个参数，来开启使用

第一个：

源文件下的allowed_domains这个变量需要注释掉，这个变量用来限定哪些进行请求，不在列表中的不进行请求，所以要注释掉，代表对请求不做限制

第二个：

setting.py文件中的ROBOTSTXT_OBEY = True改为ROBOTSTXT_OBEY =  False，

setting.py是scrapy的设置文件，ROBOTSTXT_OBEY参数是确定是否遵守网站的robots协议，建议自学的时候改为False