scrapy用item_loader加载item并处理

最新推荐文章于 2020-07-03 16:30:31 发布

jianguotang

最新推荐文章于 2020-07-03 16:30:31 发布

阅读量1.7k

点赞数

分类专栏： python学习笔记

本文链接：https://blog.csdn.net/qq_30034925/article/details/78090558

版权

本文介绍了在Scrapy爬虫项目中如何利用ItemLoader加载和处理item。讲解了item_loader的add_css(), add_xpath(), add_values()方法，并指出默认提取的数据为list格式。为了匹配所需值，文章提到需自定义item_loader，并结合MapCompose()函数进行数据处理。" 50863917,4846085,QML Rectangle详解：属性与盒子模型,"['QML开发', '图形绘制', 'UI设计', '用户界面']

摘要由CSDN通过智能技术生成

from AticleSpider.items import JobBoleAricleItem, ArticleItemLoader

如果不使用item_loader则需要

 def parse_detail(self, response):
        article_item = items.JobBoleAricleItem()
        re_select = response.xpath("/html/body/div[1]/div[3]/div[1]/div[1]/h1")
        # 标题

        title = response.xpath('//div[@class="entry-header"]/h1/text()').extract()[0]
        print(title)
        create_date = response.xpath('//p[@class="entry-meta-hide-on-mobile"]/text()').extract()[0].strip().replace(' ·',                                                                                                          "")
        # 点赞数
        praise_nums = response.xpath('//span[contains(@class,"vote-post-up")]/h10/text()').extract()[0]
        # 收藏数
        fav_nums = response.xpath('//span[contains(@class,"bookmark-btn")]/text()').extract()[0]
        match_re = re.match(r'.*(\d+).*', fav_nums)
        if match_re:
            fav_nums = int(match_re.group(1))
        else:
            fav_nums = 0;
         # 评论
        comment_nums = response.xpath('//a[@href="#article-comment"]/span/text()').extract()[0]
        match_re =