解决Scrapy性能问题——案例三（下载器中的“垃圾”）

最新推荐文章于 2024-03-21 03:00:00 发布
最新推荐文章于 2024-03-21 03:00:00 发布
阅读量3.7k 收藏 4
点赞数 2
分类专栏： scrapy 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q_AN1314/article/details/51252847
版权
文章探讨了Scrapy在处理下载器中的额外HTTP请求时导致性能下降的问题。通过示例展示了使用下载延迟和并发级别时，由于在pipeline中发起HTTP请求，下载器负载超载，影响系统吞吐量。建议使用特定库替代`urlopen`以提高性能，并解释了为何pipeline中的请求数可能多于下载器，但只要不超过限制，不影响整体性能。
摘要由CSDN通过智能技术生成

症状：系统的吞吐量比较期望的要小，并且下载器中的Request对象有时看起来比CONCURRENT_REQUESTS还要多。

示例：我们使用0.25秒的下载延迟来模仿下载1000个网页，默认的并发水平是16个，根据前面的公式，大概需要花19s的时间。我们在一个pipeline中使用crawler.engine.download()来发起一个额外的HTTP请求到 一个假的API，这个请求的响应需要1s的时间。运行一下程序：

$ time scrapy crawl speed -s SPEED_TOTAL_ITEMS=1000 -s
SPEED_T_RESPONSE=0.25 -s SPEED_API_T_RESPONSE=1 -s
SPEED_PIPELINE_API_VIA_DOWNLOADER=1
...
s/edule d/load scrape p/line done mem
968 32 32 32
最低0.47元/天 解锁文章
bluespacezero
关注
专栏目录
Scrapy爬虫框架 Downloader Middleware 下载器中间件
Mr数据杨
08-31 232
在本教程中，我们深入探讨了 Scrapy 下载器中间件的基本使用方法及其核心功能。下载器中间件是 Scrapy 框架中的一个强大组件，它允许开发者在请求和响应的各个阶段进行定制化操作，从而实现更灵活和强大的数据抓取任务。Scrapy 的下载器中间件提供了强大的扩展性和灵活性，使得开发者可以定制化控制爬虫的行为，适应各种复杂的网络环境和抓取需求。掌握这些方法，将极大提升你在实际爬虫开发中的效率和能力。
Scrapy小案例
wuyangcc的博客
03-28 342
Scrapy小案例 创建项目： scrapy startproject TXmovies cd TXmovies scrapy genspider txms v.qq.com 修改setting: ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 1 DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
Scrapy 性能
墨鱼菜鸡
07-11 127
参考：https://blog.csdn.net/s150503/article/details/72571680 CONCURRENT_REQUESTS 与 DOWNLOAD_DELAY Scrapy 中 CONCURRENT_REQUESTS 与 DOWNLOAD_DELAY 的联系，先建立一个项目来找CONCURRENT_REQUESTS与DO...
[进阶]-多线程、多进程、异步IO实用例子
北慕的博客
09-02 1580
在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。以下代码默认运行环境为python3。 目录 一、多线程、多进程 1.同步执行 2.多线程执行 3.多线程+回调函数执行 4.多进程执行 5.多进程+回调函数执行 二、异步   1.asyncio示例1 1.asyncio示例2  2.asyncio + aioht...
Scrapy性能分析
热门推荐
04-25 1万+
之前讲过（这里），当Scrapy正常运行时，下载器是瓶颈。在这种情况下，你会看到调度器中有一些请求，下载器中的并发请求数目已经达到最大值，而scraper（爬虫和pipeline）的负载比较轻，正在处理的Response对象数目也不会一直增长。主要有三个设置项来控制下载器的容量：CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN和 CONCURRE
《Learning Scrapy》（中文版）第10章 理解Scrapy的性能
weixin_34380781的博客
09-23 234
序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础 第4章 从Scrapy到移动应用第5章 快速构建爬虫第6章 Scrapinghub部署第7章 配置和管理第8章 Scrapy编程第9章 使用Pipeline 第10章 理解Scrapy的性能第11章（完） Scrapyd分布式抓取...
解决Scrapy性能问题——案例六（下载器中请求太少）
04-28 6038
症状：增加了CONCURRENT_REQUESTS，但是下载器并没有得到充分的利用，调度器也是空的。示例：首先来运行一个没有这种问题的例子，把响应时间设置成1s，这样可以简化下载器吞吐量的计算：T = N/S = N/1 = CONCURRENT_REQUESTS。$ time scrapy crawl speed -s SPEED_TOTAL_ITEMS=500 \ -s SPEED_T_RESP
解决Scrapy性能问题——案例四（响应太多导致溢出）
04-26 7030
症状：下载器几乎是在满负荷工作，然后过一会就关闭了。然后一直重复这样，而scaper占用的内存很多。示例：这里我们和之前的设置是一样的（也使用了treq），但是响应的大小被设置成了120kb的HTML。正如你所看到的，它一共花费了31s而不是20s：$ time scrapy crawl speed -s SPEED_TOTAL_ITEMS=1000 -s SPEED_T_RESPONSE=0.25
解决Scrapy性能问题——案例二（含有阻塞的代码）
04-26 6340
症状：系统非常慢，与期望的相差很大，并且当你修改CONCURRENT_REQUESTS的值的时候，速度并没有发生变化。下载器看起来几乎是空的（比CONCURRENT_REQUESTS的值要小），scraper中只有少量一些Response对象。示例：你可以使用这两个设置项（爬虫代码见这里）：SPEED_SPIDER_BLOCKING_DELAY和SPEED_PIPELINE_BLOCKING_DEL
解决Scrapy性能问题——案例五（Item并发太多导致溢出）
04-27 8377
症状：爬虫对于每个Response都产生了多个Item，系统的吞吐量比期望的要低，并且可能会出现和前一个案例相同的下载器开/关现象。示例：这里我们假设有1000个请求，每个返回的页面有100个Item，响应时间为0.25s，Item在pipeline中的处理时间为3s。分别把CONCURRENT_ITEMS设置成从10到150的值来运行爬虫：for concurrent_items in 10 20
scrapy实例
nyq1304的博客
08-30 313
创建Scrapy项目 scrapy startproject Tencent 编写item import scrapy class TencentItem(scrapy.Item): # 职位名 positionname = scrapy.Field() # 详情连接 positionlink = scrapy.Field() # 职位类别 ...
一个简单的scrapy示例
04-15
一个简单的scrapy示例，把获取的数据保存到json中
Scrapy实例
weixin_39965184的博客
03-01 474
新浪新闻逐页爬取标题和链接并保存到txt中 class itemSpider(scrapy.Spider): name = 'itemSpider' start_urls = ['http://mil.news.sina.com.cn/roll/index.d.html?cid=57918'] def parse(self, response): li=...
Scrapy案例（一）
qq_51179608的博客
06-27 875
案例实践一
scrapy简单示例
deek的博客
05-14 218
Scrapy简单爬虫示例 链家租房爬虫示例 import scrapy class LianjiaSpider(scrapy.Spider): # 爬虫名 name = 'lianjia' # 允许爬取的链接域名 allowed_domains = ['lianjia.com'] # 起始url start_urls = ['https://sz.lianjia.com/zufang/'] def parse(self, response): .
简单的scrapy实例
weixin_30352191的博客
06-01 166
前天实验室的学长要求写一个简单的scrapy工程出来，之前也多少看了点scrapy的知识，但始终没有太明白，刚好趁着这个机会，加深一下对scrapy工作流程的理解。由于临近期末，很多作业要做(其实。。。。。。。。。。。。。。主要还是自己太菜了，嘻嘻)，所以决定去搜一个简单的实例模仿一下。 显示搜了一个爬取腾讯招聘网了例子(https://www.cnblogs.com/xinyangsdut/p...
《精通Python爬虫框架Scrapy》第10章 理解Scrapy性能
rmyd01的博客
07-09 235
第10章　理解Scrapy性能 通常情况下，性能很容易出现问题。对于Scrapy来说，性能就不只是容易出现问题了，而是几乎肯定会出现，因为它有很多有悖常理的行为。除非你对Scrapy内部有非常好的理解，否则你会发现，即使非常努力地优化性能，也很可能得不到收益。这是使用高性能、低延迟以及高并发环境复杂性的一部分。在优化瓶颈性能时，阿姆达尔定律仍然是正确的，不过除非你能指明真正的瓶颈所在，否则在系统...
scrapy案例（附源码）
eqwaak0的博客
03-21 252
3.start_urls中的url地址是交给parse处理的，如有必要，我们需要重写strat_request这个方法。spider指的是使用这个管道的爬虫，必须return item。1.完善豆瓣爬虫，在pipelines.py代码中完善。2.找到请求体的规律：分析post请求的请求体（参数）1.找到post的url地址然后定位url地址。
scrapy爬虫框架——
最新发布
09-26
Scrapy是一个强大的Python爬虫框架，用于高效地抓取网站数据并提供结构化的存储方式。它设计简洁，模块化，允许开发者轻松构建复杂的网络数据提取系统。Scrapy主要包括以下几个关键组件： 1. **下载器** (Downloader)：负责下载网页内容，可以处理各种HTTP请求，并自动管理cookies和session。 2. **中间件** (Middleware)：一系列插件，可以在数据传输过程中对请求和响应进行修改、过滤或者分析。 3. **解析器** (Parser)：解析HTML或XML文档，提取出需要的数据，并将其转换成Item对象，这是Scrapy处理数据的基本单位。 4. **Spiders**：核心部分，编写自定义的爬虫逻辑，定义要爬取的URL列表，以及如何解析页面规则。 5. **项目管理和调度**：通过Scrapy项目文件和调度器管理整个爬虫生命周期，包括启动、停止、重启和任务分配。 使用Scrapy，你可以方便地定义规则来筛选目标数据，支持异步下载和并发抓取，同时还有内置的错误处理机制和日志记录功能。如果你想深入了解Scrapy，可以从官方文档开始学习，实践编写简单的爬虫并逐步深入到更高级的主题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值