浅谈Scrapy框架之Items用途

初次使用item时，不禁发出疑问，为什么scrapy框架要设计item这个东西，python中不是有dict可以做到数据的传递和存储么？经过查询后，具体总结如下：

爬虫爬取本质是什么？

主要目标是从非结构化来源（通常是网页）提取并整合成自己预期的结构化数据。

Scrapy中的Items是什么？

Item对象是用于收集所抓取的数据的简单容器。它们提供了一个类似python字典的API，具有用于声明其可用字段的方便的语法。

Scrapy中Items存在的好处？

Scrapy爬虫可以将提取的数据作为Python语句返回。虽然方便和熟悉，但由于dict缺乏结构。很容易在字段名称中输入错误或返回不一致的数据，特别是在与许多爬虫的大项目。

• 可以直接看items.py，可以看出来要爬取那些字段，在爬虫解析页面时仅能使用已定义的这些字段

class LagouItem(scrapy.Item):
    // define the fields for your item here like:
    position = scrapy.Field()
    location = scrapy.Field()
    money = scrapy.Field()
    publish_time = scrapy.Field()
    company = scrapy.Field()
    treatment = scrapy.Field()  // 待遇

• 防止我们在item[“键名”] 输入键名的时候输入错误

// 此处我们故意把treatment拼错成treatmenttt，则会报错
>>> item['treatmenttt'] = li.xpath('.//div[@class="li_b_r"]/text()').extract_first()
KeyError: 'LagouItem does not support field: treatmenttt'
// 而使用python中的字典则不会报错，其实逻辑是错误的
>>> a = {}
>>> a['treatmenttt'] = li.xpath('.//div[@class="li_b_r"]/text()').extract_first()

【Items使用方法详情见参考文献】：
[1] Scrapy爬虫入门教程六 Items（项目）