scrapy 爬取不在同一级页面的属性

在进行scrapy爬虫时,要爬取不在同一级页面的属性,使用yield scrapy.Request(url=videolink, meta={'item':item}, callback=self.parseReal2)来进行item的传递,这样就可以爬取不在同一级页面的属性,并yield给最后的item了。

    def parseReal(self, response):

        jsons = json.loads(response.body)
        res = jsons['data']

        if len(res):
            for index in range(len(res)):
                item = YoukuItem()
                videolink = "https:" + res[index]['videoLink']

                #视频Id
                item['videoid'] = res[index]['videoId']
                #视频url
                item['url'] = videolink
                #视频名称
                item['videoname'] = res[index]['title'].encode('utf-8')

                yield scrapy.Request(url=videolink, meta={'item':item}, callback=self.parseReal2)


    def parseReal2(self, response):
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值