scrapy框架爬虫获取下来的数据保存到Django之有两个回调函数两个yield item

本文讨论了在使用Scrapy爬虫时遇到的问题,即如何处理拥有两个不同回调函数且分别yield不完整item的情况。文章指出,为了将这些item合并并保存到Django模型中,需要一个唯一的mid字段作为标识。解决方案是利用meta传递数据,并通过Django的filter函数根据mid查询相关记录。通过循环和setattr函数更新记录的url字段,最终保存item。
摘要由CSDN通过智能技术生成

1.问题:存在两个回调函数,有两个yield item 每次yield回来的item里面的值是不一样的,但是两个item所有的字段构成一个完整的记录,如何在pipline里面将异步的数据和字段,完整的保存在表里面?

在这里插入图片描述
这个item有这些这么多的值
在这里插入图片描述
而这个item仅仅有url、和mid的字段

如何异步调用?并且保存?
在这里插入图片描述
首先对item先判断里面是否包含这个字段,不是,则保存,是则进行url字段的保存,但是怎么在表里面查找url字段呢?那么还需要一个唯一标识的字段,mid,那么怎么在另一个回调函数里面保存前面一个回调函数的一个值呢?
用meta,meta字段是用来保存数据,并且在回调函数里面传递的一个字段

在这里插入图片描述

有了mid字段那么我们可以在item里面,先在表里面查询相关的mid值的记录,如下:
在这里插入图片描述
则用django表的对象的filter函数筛选mid值的记录,并且返回一个列表,可能数据库里面有多个相同记录,则判断,再用循环,去取其中一个记录,然后将,相应的url保存进去,用setattr函数(记录,字段,字段的值),最后写进去为,item.save()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值