scrapy无法循环抓取

最新推荐文章于 2024-04-22 15:42:39 发布
最新推荐文章于 2024-04-22 15:42:39 发布
阅读量3k 收藏 1
点赞数
分类专栏： 爬虫 文章标签： python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iGoab/article/details/53016879
版权

最近在学习scrapy，写好了大概的样子，但是却发现无法循环抓取，最后自己想着以前貌似有个例子说过原因。

  • 之前写的如下：
name = 'dmoz'
allowed_domains = ['dmoz.org']
start_urls = ['http://www.123.info/']
  • 修改之后如下：
name = 'dmoz'
allowed_domains = ['123.info']
start_urls = ['http://www.123.info/']

为了实现yield当前站循环抓取，需要将allowed_domains改为与url一致的域名才行，也就是如果想抓取123.info的全站链接，需要将allowed_domains设置为123.info就可以通过Request实现循环抓取了

iGoab
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy爬虫注意点（2）—— 根据page循环遍历页面参数问题
Kosmoo的博客
10-27 9446
1. 问题背景 在访问如下这种论坛网页时，经常会根据页码访问接下来的页面。很多时候，会将pageIdx带入带request中的meta中，以便将这个page数据传递下去，但是基于scrapy的yield机制，不同的写法，会让带进去的page不同。 2. 实例分析 代码 # -*- coding: utf-8 -*- import scrapy class MyclawerSpider(scrapy.
scrapy 使用CrawlSpider提取超链接，不循环的问题
eli的博客
09-30 702
直接上代码： 这个循环爬取url有问题： # -*- coding: utf-8 -*- import scrapy from BaikeSpider.items import BaikespiderItem from scrapy.spiders import CrawlSpider,Rule # 提取超链接的规则 from scrapy.linkextractors import Li...
爬虫Scrapy 基本介绍与使用（超详细!含实例！）
最新发布
fly020306的博客
04-22 954
Scrapy到目前为止依然是这个星球上最流行的爬虫框架. 摘一下官方给出对scrapy的介绍​scrapy的特点: 速度快, 简单, 可扩展性强.scrapy的官方文档:在上述案例中, 我们使用字典作为数据传递的载体, 但是如果数据量非常大. 由于字典的key是随意创建的. 极易出现问题, 此时再用字典就不合适了. Scrapy中提供item作为数据格式的声明位置. 我们可以在items.py文件提前定义好该爬虫在进行数据传输时的数据格式. 然后再写代码的时候就有了数据名称的依据了.
scrapy项目的循环启动（并去掉烦人的日志）
mjp_erhuo的博客
11-26 1022
# -*- coding: utf-8 -*- from twisted.internet import reactor, defer from scrapy.crawler import CrawlerRunner from scrapy.utils.log import configure_logging import time import logging from scrapy.utils.project import get_project_settings # 在控制台打印日志 con.
scrapy - Request 中的回调函数不执行或者只执行一次
chon机械师的博客
08-18 2503
在 scrapy 的parse()函数中，用调度器回调request对象时： scrapy.Request(url, headers=self.header, callback=self.parse) 发现回调函数 parse 只被执行了一次，这可能就是请求url被过滤掉了，查看 scrapy 的输出日志 offsite/filtered 会显示过滤的数目。 两种方法能够使 request...
Scrapy中的yield使用
amuro_ray027的博客
09-15 3229
Scrapy中yield的使用背景yield的理解scrapy中的yield的使用scrapy.Request对象scrapy.Item对象scrapy中的传值的问题从持久化数据源（数据库/表格）中获取数据使用cb_kwargs在request和callback回调函数之间进行传参参考 背景 yield和协程总是相伴出现。 scrapy使用yield进行数据解析和爬取request。 yield的理解 yield的解释都比较复杂，一段典型的yield的使用如下： def foo(): pri
yield的使用和在scrapy框架中的使用
qq_51543898的博客
08-16 999
关于yield的使用说明和在scrapy中的使用说明
scrapy 循环抓取url实例
02-26
自己亲自测试 保证可以用，需要安装python2.7 还有scrapy，测试是在centos7下完成的
Python打印scrapy蜘蛛抓取树结构的方法
09-22
这段代码的实用价值在于，它帮助开发者可视化Scrapy爬虫的抓取路径，检查是否存在循环引用或者未被正确处理的链接。这对于调试和优化爬虫逻辑非常有帮助。 总结来说，Python结合Scrapy可以构建高效的网络爬虫，而...
Python抓取框架 Scrapy的架构
09-21
Scrapy是一个强大的Python爬虫框架，用于高效地抓取网页数据。它的架构设计得模块化，易于扩展，使得开发者可以专注于编写爬取和解析规则，而不用过多关注底层的网络通信和数据处理细节。 Scrapy架构的核心组件包括...
Scrapy爬虫1
08-08
1. Scheduler：调度器是 Scrapy 框架中的重要部分，它负责管理待抓取的 URL 队列。当爬虫开始运行时，首先会将起始的 URL 加入调度器，随后在每个工作循环中，调度器会返回下一个待爬取的 URL 给引擎进行处理。 2. ...
scrapy 入门
10-27
Scrapy是一个强大的Python爬虫框架，它为开发者提供了构建网络爬虫所需的各种工具和组件，使得数据抓取过程更加高效和便捷。以下是对Scrapy入门的一些关键知识点的详细讲解： ### 1. Scrapy架构 Scrapy基于组件化...
scrapy 中yield 语句 执行次数 与回调函数执行次数不同的解决
qq_55033799的博客
04-01 141
至于为什么要过滤，还需要在研究研究。添加参数设置为不过滤。
求解：scrapy 的回调函数，在parse中先把当前页面列表中每一项遍历，该页结束跳转到下一页，但是执行结果是我只得到了第一页的爬取结果
weixin_39579124的博客
04-08 1036
def parse(self, response): # print(response.text) uri = 'https://www.liepin.com' h3List = response.css('h3') print(len(h3List)) del h3List[len(h3List) - 3:len(h3List)] print(le...
scrapy中的yield scrapy.Request 在传递item 的注意点
qq_40138248的博客
12-10 2983
在用scrapy框架的时候在很多情况下会出现要爬取一个列表页面和一个详情页面的情况，这个时候通常会使用yield 来发起一个请求，并通过 callback 参数为这个请求添加回调函数，在请求完成之后会将响应作为参数传递给回调函数，但在我们传递item的时候会出现一些问题： 在需要多次调用下面这个parse_detail() 方法的时候，会出现获取到最后一个item的情况，而且是循环调用最后一个，...
json yeid_请问一下， scrapy 在一个 def 里不能发多个 yield Request 请求么？为什么？...
weixin_28840143的博客
01-13 550
这是我写的 spider 文件，下面有我碰到的在一个页面内所需要的值，放在 3 个 json 文件中。。。。。所以我在一个函数下写了三个 yield Request 请求……import scrapyfrom scrapy.http import Requestimport refrom jingdong.items import JingdongItemfrom jingdong.setting...
scrapy的Pipeline类不可使用yield
lymmurrain的博客
01-22 624
scrapy的Pipeline类不可使用yield 业务需求在scarpy的pipeline中处理过数据后再生成新的Request。但如果直接再Pipeline类的process_item方法中yield Request，会导致爬虫执行直接跳过该Pipeline，连个报错都看不到。 排查发现是yield使该函数的调用的返回值成为生成器，而不是相关返回值。 如何在Pipeline中生成新请求 1.参照MediaPipeline。 之所以我会先入为主地认为可以在Pipeline中直接yield出新Request
Scrapy爬虫执行中yield请求未被抛出（或抛出未执行）解决方法（亲测有效）
小仙女说：但行好事，不问前程
12-16 3739
当我们在执行scrapy调试的时候可能会遇到yield请求未正确抛出的情况。 1、查看scrapy执行日志 日志中的这一项表示，我们的请求被过滤掉了20条。 解决方法： 1、将我们的请求ip地址域名（如：blog.csdn.net)添加到spider爬虫文件的allowed_domains数组中 （另外：我们的允许请求域名中，域名后不需要添加‘/’号，否则会将我们正常的请求过滤掉） ...
scrapy 递归爬取如何传递参数，且解决循环yield时总是得到最后一个数据
DL_min的博客
04-18 1764
我们写爬虫的时候经常会遇到比如一页有20个产品，但是还需要进入单个产品里面爬取更详细的信息，这里就涉及到如何传递参数才能匹配好各个产品的信息，这里就引出scrapy中 request的meta参数，该参数只接受字典形式 meta={'k1':v1,'k2':v2} 用法如下 def parse(self, response): items = ScrapytestItem() ...
scrapy 循环爬取
09-17
### 回答1： 可以使用 Scrapy 的循环爬取功能来实现循环爬取。具体实现方法如下： 1. 在 Scrapy 项目的 settings.py 文件中设置 DOWNLOAD_DELAY 参数，可以控制爬虫请求页面的时间间隔，避免被封 IP。 2. 在 Scrapy 项目的 spider 中重载 start_requests 方法，在其中编写循环爬取的逻辑。例如，可以使用 for 循环遍历需要爬取的页面 URL，然后使用 scrapy.Request 发起请求。 下面是一个示例代码： ``` import scrapy class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): urls = [ 'http://www.example.com/page1', 'http://www.example.com/page2', # ... ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): # 解析页面内容 pass ``` 在上面的代码中，我们重载了 start_requests 方法，使用 for 循环遍历需要爬取的页面 URL，并使用 scrapy.Request 发起请求。在请求返回后，Scrapy 会自动调用 parse 方法来解析页面内容。 注意，在编写循环爬取的代码时，需要注意爬虫的爬取速度，以避免被封 IP 或者对网站造成过大的负担。可以通过设置 DOWNLOAD_DELAY 参数来控制请求的时间间隔。 ### 回答2： Scrapy是一个强大的Python框架，用于构建和管理网络爬虫。循环爬取是指在同一个爬取任务中多次执行爬取过程，以获取一系列相关的数据。 要实现循环爬取，我们可以使用Scrapy的调度器来管理爬取请求和响应的流程。以下是一个用Scrapy实现循环爬取的简单示例： 1. 首先，在Scrapy项目的Spider文件夹中创建一个新的爬虫脚本。 2. 在脚本中定义一个Spider类，继承自scrapy.Spider，并定义一个name属性，用于标识爬虫。 3. 在Spider类中定义一个start_requests方法，用于生成最初的爬取请求。在该方法中，可以使用yield语句返回一个Request对象。 4. 在start_requests方法中，可以指定需要爬取的初始网页，并通过callback参数指定一个回调方法，用于处理响应数据。 5. 在回调方法中，可以解析页面并提取所需的数据。同时，可以使用yield语句返回更多的Request对象，以触发更多的爬取请求。 6. 在回调方法的末尾，可以编写逻辑代码来判断是否继续爬取。如果条件满足，可以通过yield语句返回一个Request对象，实现循环爬取的效果。 7. 在settings.py文件中，可以配置一些Scrapy相关的参数，如爬取延迟、并发数等。 8. 最后，在命令行中运行scrapy crawl命令，指定要运行的爬虫名称，即可开始循环爬取过程。 通过以上步骤，我们可以使用Scrapy框架实现循环爬取的功能。需要注意的是，编写爬取逻辑时要注意处理异常情况，以确保爬虫能够正常运行并避免被目标网站封禁。另外，合理设置爬取延迟和并发数等参数也是优化爬虫性能的关键。 ### 回答3： Scrapy 是一个强大的 Python 爬虫框架，它可以对网页进行高效率的抓取和处理。在使用 Scrapy 进行循环爬取时，可以使用以下方法： 1. 使用 start_urls: 在 Scrapy 中，可以在 Spider 类中定义一个 start_urls 列表，包含需要爬取的起始网址。 Scrapy 会自动根据这个列表中的网址进行循环爬取。可以在 start_requests() 函数中对每一个起始网址执行一个 Request 请求，然后返回一个 Response 对象，解析网页内容并提取所需信息。 2. 使用 yield scrapy.Request: 使用 yield scrapy.Request 方法可以在爬取过程中生成新的请求，并指定回调函数进行处理。在回调函数中，可以解析网页内容，并提取所需的数据。然后，可以通过 yield 语句返回新的 Request 对象，继续进行下一次爬取。 3. 使用 scrapy.Spider.crawl(): Scrapy 还提供了一个 crawl() 方法，可以用于设定爬取规则和循环爬取。通过扩展 Spider 类，并覆盖其 crawl() 方法，可以定义循环爬取的逻辑。在 crawl() 方法中，可以使用 crawl(self, *args, **kwargs) 进行调用，并传递需要的参数，实现循环爬取的功能。 总结起来，Scrapy 提供了多种方法来实现循环爬取。可以利用 start_urls 列表、yield scrapy.Request 方法以及覆盖 Spider 类的 crawl() 方法，来定义爬取规则和实现循环爬取的逻辑。这些方法都可以帮助我们在使用 Scrapy 进行爬虫时，实现高效的循环爬取功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值