1.用户提供了两个类,分别是item基类和Field类。其中Field用来描述自定义数据包含哪些数据
2.为什么要使用item来封装数据,直接使用字典简单粗暴他不香吗?下面介绍使用item封装数据的优势。
当你使用一般的字典的形式来组织管理数据时,很有可能因为笔误而导致莫名其妙的错误,但是当你使用Item时会报错,便于你发现问题
方便使用与阅读源代码,当你再items.py中写好了字段管理代码时,你在Spider中只需要引入文件,然后创建对象,之后便可以像使用字典一样的方法使用Itme来组织管理数据了
3.Item的使用方法
1.确保你已经正确的配置好了爬虫项目和爬虫文件。
2.在Items.py中进行如下操作:
class className(scrapy.Item): #这里是items基类,括号前面是类的名字
# define the fields for your item here like:
# name = scrapy.Field()
field name = scrapy.Field() #使用field创建一个管理字段,前面的变量名是自定义的
field name= scrapy.Field()
field name = scrapy.Field()
3.在spider.py中引入items.py文件:
from ..items import className
这里…代表items文件夹和spider.py同处于一个文件夹下,className就是我们创建的组织管理数据的类
4.创建一个items对象:
example = className()
,以后我们就可以通过example来管理数据了。
5.用法举例:
example['field name'] = name
,这里就表示把name这个数据写入到field中的field name字段。