Scrapy学习笔记V--Items 爬虫数据的存储.数据模板

1. 当我们利用爬虫程序从源数据中提取（extract）自己所需要的数据，如N个电影名，N个电影作者，不同排名，不同点赞数，不同下载地址，文章内容或者一些其他数据，并把这些提取的内容存储到一个Python字典中返回

2. 但是字典存储数据会出现排版或者前后不一致的情况，尤其是在大型的爬虫程序中

3. 那提取的数据应该保存在哪里？又能保持数据的一致性呢？

Item scrapy中item 类 中提供容器收集这些爬取的数据并定义这些数据的存储格式

declaring items声明item对象

import scrapy

class Product(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    stock = scrapy.Field()
    last_updated = scrapy.Field(serializer=str)

 field对象为每一个field指定元数据，各种类型的元数据都可，组件会找到各自的元数据的keys。field为Item.field中的属性元素

Working with Items操作items 和dict（字典）类似

• Creating items (Product类已经在上面声明，定义items)

 >>> product = Product(name='Desktop PC', price=1000)
>>> print product
Product(name='Desktop PC', price=1000)

• Getting field values （获取field中的值）

 >>> product['name']
Desktop PC
>>> product.get('name')
Desktop PC

>>> product['price']
1000

>>> product['last_updated']
Traceback (most recent call last):
    ...
KeyError: 'last_updated'

>>> product.get('last_updated', 'not set')
not set

>>> product['lala'] # getting unknown field
Traceback (most recent call last):
    ...
KeyError: 'lala'

>>> product.get('lala', 'unknown field')
'unknown field'

>>> 'name' in product  # is name field populated?
True

>>> 'last_updated' in product  # is last_updated populated?
False

>>> 'last_updated' in product.fields  # is last_updated a declared field?
True

>>> 'lala' in product.fields  # is lala a declared field?
False

• Setting field values #设置field的值

>>> product['last_updated'] = 'today'
>>> product['last_updated']
today
>>> product['lala'] = 'test' # setting unknown field
Traceback (most recent call last):
    ...
KeyError: 'Product does not support field: lala'

• Accessing all populated values #获得已定义好的数据

>>> product.keys()    #获取键值
['price', 'name']

>>> product.items()    #获取键值和数据
[('price', 1000), ('name', 'Desktop PC')]

• Other common tasks

     - Copying items : product2 = Product(product)   product3=product2.copy     #复制item对象
     - Creating dicts from items :  dict（product） # 从所有已经填入field字段中 创建一个字典容器
     - Creating items from dicts : Product({'name': 'Laptop PC', 'price': 1500})    #从字典中创建item  键值需已经声明过

• Extending Items 你可以通过子类扩展你的item数据模型，增加或者改变一些元数据

class DiscountedProduct(Product):
    discount_percent = scrapy.Field(serializer=str)
    discount_expiration_date = scrapy.Field()

可以把最开始定义的元数据字段（previous metadata）

class SpecificProduct(Product):
    name = scrapy.Field(Product.fields['name'], serializer=my_serializer)       #保持最初定义的name字段key-value

• Item objects
  
class scrapy.item.Item([arg])

  重写字典标准，唯一属性fields
• Field objects
  
class scrapy.item.Field([arg])

  字典的别名，没有额外的功能和属性

如有错误请指正