scrapy的Pipeline类不可使用yield

最新推荐文章于 2023-04-01 20:16:27 发布
VIP文章 最新推荐文章于 2023-04-01 20:16:27 发布
阅读量611 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lymmurrain/article/details/122645750
版权

scrapy的Pipeline类不可使用yield

业务需求在scarpy的pipeline中处理过数据后再生成新的Request。但如果直接再Pipeline类的process_item方法中yield Request，会导致爬虫执行直接跳过该Pipeline，连个报错都看不到。

排查发现是yield使该函数的调用的返回值成为生成器，而不是相关返回值。

如何在Pipeline中生成新请求

1.参照MediaPipeline。

之所以我会先入为主地认为可以在Pipeline中直接yield出新Request，是因为之前使用过官方自带的MediaPipeline，改写其get_media_requests的方法，并可最终yield出新Request。

则仿照MediaPipeline的process_item完成业务逻辑即可。

MediaPipeline的process_item的主要逻辑如下

    def process_item(self, item, spider):
        info =
最低0.47元/天 解锁文章
lymmurrain
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python3~scrapy项目之爬取当前页和下一页
zbrj12345的博客
05-30 1万+
# -*- coding: utf-8 -*- import scrapy from urllib import request from Py06_2018_3_16.items import TencentItem class tencentNextPageSpider(scrapy.Spider): name = 'tencent_next_page' allowed_do...
scrapy 递归爬取如何传递参数，且解决循环yield时总是得到最后一个数据
DL_min的博客
04-18 1729
我们写爬虫的时候经常会遇到比如一页有20个产品，但是还需要进入单个产品里面爬取更详细的信息，这里就涉及到如何传递参数才能匹配好各个产品的信息，这里就引出scrapy中 request的meta参数，该参数只接受字典形式 meta={'k1':v1,'k2':v2} 用法如下 def parse(self, response): items = ScrapytestItem() ...
scrapy - Request 中的回调函数不执行或者只执行一次
chon机械师的博客
08-18 2478
在 scrapy 的parse()函数中，用调度器回调request对象时： scrapy.Request(url, headers=self.header, callback=self.parse) 发现回调函数 parse 只被执行了一次，这可能就是请求url被过滤掉了，查看 scrapy 的输出日志 offsite/filtered 会显示过滤的数目。 两种方法能够使 request...
python中yield的用法详解——最简单，最清晰的解释+补充说明&傻傻的for循环
ahmcwt的专栏
06-16 625
转自:https://blog.csdn.net/mieleizhi0522/article/details/82142856/ 补充说明在最后. (冯爽朗 2019-04-02 13:29:31 232342 已收藏 1023) 首先我要吐槽一下，看程序的过程中遇见了yield这个关键字，然后百度的时候，发现没有一个能简单的让我懂的，讲起来真TM的都是头头是道，什么参数，什么传递的，还口口声声说自己的教程是最简单的，最浅显易懂的，我就想问没有有考虑过读者的感受。 接下来是正题： 首先，如果你...
scrapy 常见问题集锦
Loong的博客
12-06 967
1.解决301、302重定向 第一步：在请求时添加dont_filter=True，允许scrapy请求重复的url 第二步：在请求时添加'dont_redirect': True和'handle_httpstatus_list': [301,302] 完整内容如下： yield Request(url=self.url, headers=self.Headers, method='GET', callback=self.parse, dont_filter=True, meta={
scrapy自定义pipeline类实现将采集数据保存到mongodb的方法
09-10
主要介绍了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法,涉及scrapy采集及操作mongodb数据库的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
Python：Scrapy框架中Item Pipeline组件使用详解
09-20
主要介绍了Python：Scrapy框架中Item Pipeline组件使用详解，具有一定借鉴价值,需要的朋友可以参考下
scrapy-pipeline数据写入excel-openpyxl
07-29
源代码：scrapy-pipeline数据写入excel-openpyxl
scrapy-s3pipeline:Scrapy管道将分块的项目存储到Amazon S3或Google Cloud Storage存储桶中
05-24
该管道旨在在不同的流程中运行搜寻器和爬虫，例如，在AWS Fargate中使用Scrapy运行搜寻器进程，在AWS Lambda中使用lxml运行搜寻器进程。 要求 Python 3.6+（在3.9中测试） Scrapy 1.1+（在2.4中测试） boto3或...
Scrapy框架的使用之Scrapy通用爬虫
02-24
通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取...
json yeid_请问一下， scrapy 在一个 def 里不能发多个 yield Request 请求么？为什么？...
weixin_28840143的博客
01-13 542
这是我写的 spider 文件，下面有我碰到的在一个页面内所需要的值，放在 3 个 json 文件中。。。。。所以我在一个函数下写了三个 yield Request 请求……import scrapyfrom scrapy.http import Requestimport refrom jingdong.items import JingdongItemfrom jingdong.setting...
scrapy框架爬虫获取下来的数据保存到Django之有两个回调函数两个yield item
weixin_43689344的博客
07-18 444
1.问题：存在两个回调函数，有两个yield item 每次yield回来的item里面的值是不一样的，但是两个item所有的字段构成一个完整的记录，如何在pipline里面将异步的数据和字段，完整的保存在表里面？ 这个item有这些这么多的值 而这个item仅仅有url、和mid的字段 如何异步调用？并且保存？ 首先对item先判断里面是否包含这个字段，不是，则保存，是则进行url字段的保...
scrapy多个yield反复横跳
weixin_51142241的博客
06-03 710
scrapy里多个yield scrapy.Request import scrapy import re import requests import json import time from ..items import InduspiderItem from newspaper import Article from gne import GeneralNewsExtractor from date_extractor import extract_date from lxml import etr
scrapy无法循环抓取
iGoab的博客
07-13 2993
最近在学习scrapy，写好了大概的样子，但是却发现无法循环抓取，最后自己想着以前貌似有个例子说过原因。之前写的如下： name = 'dmoz' allowed_domains = ['dmoz.org'] start_urls = ['http://www.123.info/'] 修改之后如下： name = 'dmoz' allowed_domains = ['123.info'] start
scrapy 中yield 语句 执行次数 与回调函数执行次数不同的解决
qq_55033799的博客
04-01 130
至于为什么要过滤，还需要在研究研究。添加参数设置为不过滤。
求解：scrapy 的回调函数，在parse中先把当前页面列表中每一项遍历，该页结束跳转到下一页，但是执行结果是我只得到了第一页的爬取结果
weixin_39579124的博客
04-08 1019
def parse(self, response): # print(response.text) uri = 'https://www.liepin.com' h3List = response.css('h3') print(len(h3List)) del h3List[len(h3List) - 3:len(h3List)] print(le...
scrapy中的yield scrapy.Request 在传递item 的注意点
qq_40138248的博客
12-10 2948
在用scrapy框架的时候在很多情况下会出现要爬取一个列表页面和一个详情页面的情况，这个时候通常会使用yield 来发起一个请求，并通过 callback 参数为这个请求添加回调函数，在请求完成之后会将响应作为参数传递给回调函数，但在我们传递item的时候会出现一些问题： 在需要多次调用下面这个parse_detail() 方法的时候，会出现获取到最后一个item的情况，而且是循环调用最后一个，...
Scrapy爬虫执行中yield请求未被抛出（或抛出未执行）解决方法（亲测有效）
小仙女说：但行好事，不问前程
12-16 3697
当我们在执行scrapy调试的时候可能会遇到yield请求未正确抛出的情况。 1、查看scrapy执行日志 日志中的这一项表示，我们的请求被过滤掉了20条。 解决方法： 1、将我们的请求ip地址域名（如：blog.csdn.net)添加到spider爬虫文件的allowed_domains数组中 （另外：我们的允许请求域名中，域名后不需要添加‘/’号，否则会将我们正常的请求过滤掉） ...
scrapy yield pipeline
最新发布
07-27
在Scrapy中，yield语句用于将爬取到的数据传递给Item Pipeline进行处理。当爬虫yield一个item时，Scrapy会将该item传递给已配置的Item Pipeline组件进行处理。Item Pipeline组件可以对数据进行清理、验证、去重、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值