item函数python_引入ItemLoader和Item的预处理函数

### 1.引入ItemLoader

* 在项目的item.py文件中创建一个自定义的loader类，然后让这个自定义类继承ItemLoader类；

```

class XkdItemLoader(ItemLoader):

default_output_processor = TakeFirst()

```

* ItemLoader类的语法：`scrapy.loader.ItemLoader（[ item，selector，response，] ** kwargs ）`，它可以接收一个 Item 实例来指定要加载的 Item，然后指定 r来确定要解析的内容esponse 或者 selector； ItemLoader 实例还提供很多方法，如提供add_css()方法和add_xpath()方法来通过 css 和xpath 解析赋值，或使用add_value()方法来单独进行赋值等。

* 更多其他的用法大家可以查看：[https://doc.scrapy.org/en/latest/topics/loaders.html](https://doc.scrapy.org/en/latest/topics/loaders.html)

### 2.修改spider，让itemloader完成素定位和元素解析

* 首先重写spider中的parse_analyse方法，导入自定义的loader类，然后需要实例化这个loader类，将参数item和response传递到loader类中。 然后可以使用add_css()、add_xpath()、add_value()方法来提取和收集数据保存到loader类实例化对象中； 最后当所有数据被收集起来之后，调用`ItemLoader.load_item()`方法对结果进行解析并保存到一个item中，然后返回这个item；

```

def parse_analyse(self, response):

# 构建loader

xkd_itemload = MyItemLoader(item=XkdDribbbleSpiderItem(), response=response)

image_url = response.meta.get('a_image_url')

# 通过loader定位元素和解析元素

xkd_itemload.add_css('title', "[role='article'] header h1")

# 注意这里传递的是一个列表

xkd_itemload.add_value('image_url', [image_url])

xkd_itemload.add_value('url', response.url)

xkd_itemload.add_value('url_id', get_md5(response.url))

xkd_itemload.add_css('date', 'p span.date::text')

# 解析元素之后返回item

xkd_item = xkd_itemload.load_item()

# 将item返回

yield xkd_item

```

### 3.修改item数据模型

* 修改item数据模型，需要导入`from scrapy.loader.processors import MapCompose`，可以在scrapy.Field中加入处理函数。MapCompose是一种处理器，由给定功能的组合构成，类似于Compose处理器，与此处理器的不同之处在于内部结果在函数之间传递的方式；

* Scrapy还给我们提供了一个`scrapy.loader.processors.TakeFirst()`方法，用于返回第一个非空值（相当于extract_first()方法），常用于单值字段的输出处器，无参数；

```

from scrapy.loader.processors import TakeFirst, MapCompose

from datetime import datetime

def str_to_date(str_date):

str_date = str_date.strip()

date = datetime.strptime(str_date, '%b %d, %Y').date()

return date.strftime('%Y-%m-%d')

class XkdDribbbleSpiderItem(scrapy.Item):

title = scrapy.Field()

image_url = scrapy.Field(

output_processor = MapCompose(lambda value: value)

)

date = scrapy.Field(

input_processor = MapCompose(str_to_date)

)

image_path = scrapy.Field()

url = scrapy.Field()

url_id = scrapy.Field()

```

参考：[https://www.9xkd.com/user/plan-view.html?id=1979020352](https://www.9xkd.com/user/plan-view.html?id=1979020352)

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69908432/viewspace-2649454/，如需转载，请注明出处，否则将追究法律责任。