爬虫Scrapy中scrapy.Spider类

name：

　　这个属性是字符串变量，是这个类的名称，代码会通过它来定位spider，所以它必须唯一，它是spider最重要的属性。回头看看源码中__init__的定义，可以发现这个属性是可以修改的，如果不喜欢或者有需要重命名spider的name，可以在启动的时候传参修改name属性。

allowed_domains：

　　这个属性是一个列表，里面记载了允许采集的网站的域名，该值如果没定义或者为空时表示所有的域名都不进行过滤操作。如果url的域名不在这个变量中，那么这个url将不会被处理。不想使用域名过滤功能时可以在settings中注释掉OffsiteMiddleware, 个人不建议这么做。

start_urls：

　　这个属性是一个列表或者元组，其作用是存放起始urls，相当于这次任务的种子。使用默认模板创建spider时，该值是个元组，创建元组并且只有一个元素时需要在元素后面添加“,”来消除歧义，不然会报错：“ValueError: Missing scheme in request url: h”。

custom_settings：（少用）

　　这个属性值是一个字典，存放settings键值对，用于覆盖项目中的settings.py的值，可以做到在一个项目中的不同spider可以有不同的配置。不过这个值要慎用，有些settings的值覆盖也没有起作用，eg：“LOG_FILE”。