提高scrapy的爬取速度

最新推荐文章于 2024-08-07 08:51:51 发布
最新推荐文章于 2024-08-07 08:51:51 发布
阅读量1.2w 收藏 26
点赞数 4
分类专栏： python 文章标签： python scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39304789/article/details/79323687
版权
本文总结了使用scrapy提升爬取速度的方法，包括降低下载延迟至0并配合防ban策略，如user agent轮转；增加并发请求，如CONCURRENT_REQUESTS和CONCURRENT_REQUESTS_PER_DOMAIN设置为100；以及禁用cookies以防止被ban。这些调整能显著提高爬取效率。
摘要由CSDN通过智能技术生成
 

爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。

在settings.py中设置如下参数：

DOWNLOAD_DELAY = 0

CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_DOMAIN
最低0.47元/天 解锁文章
uzizzz
关注
专栏目录
爬虫日记(23)：用scrapy快速地爬取蜂鸟网图片
大坡3D软件开发
03-24 366
前面的例子只使用几行代码，就可以快捷地下载了图片，这是使用工具的进步，也是时代的进步，更是我们思想的进步。因为商业的社会，快速地变现才能生存，才能更进一步去开发和研发新的东西。我们知道基础的重要，但是如果没有商业的能力，又怎么请得起人才来研究和开发呢？可见我们需要快速地跟进，快速地去变现自己的梦想，这样才能快速地走在前头，吃上一口饭，否则就会饿死在开发的路上。 看到网上有很多分析蜂鸟网图片网站，http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方。但是他们采用的工具还是.
爬虫实战（一）利用scrapy爬取豆瓣华语电影
SY的博客
10-07 5771
在学习爬虫之前，翻过知乎上的一个回答：利用爬虫技术能做到哪些很酷很有趣很有用的事情？，这大概是我学习爬虫最初的动力。而现在踏过小白阶段后，便开始也想做这样的事情，结合数据分析或是其他的，做一些有趣的东西。 那从简单的开始，第一个爬虫项目是爬取豆瓣华语电影的数据，后面将利用这部分数据进行分析。 1. 爬取思路 在观察了豆瓣每个影片的链接地址后，写下了主要思路： 在豆瓣电影的选片页面，筛选所有华语（...
提高Scrapy的爬取速度
weixin_43038752的博客
05-23 1558
在配置文件中修改相关参数： 增加并发 默认的scrapy开启的并发线程为32个，可以适当的进行增加，再配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 降低日志等级 在scrapy运行的时候，会输出大量的日志信息，为了减少cpu的使用率，可以设置log输出信息为INFO或者ERROR.在配置文件中编写LOG_LEVEL = ‘INFO’ 禁止cookie 如果不是真的需要cookie，则在scrapy爬取数据的时候可以 禁止cookie从而减少C
Python 爬虫入门（十一）：Scrapy高级应用之并发与分布式「详细介绍」
最新发布
blues_C的博客
08-07 1362
欢迎来到“Python 爬虫入门”系列文章。在前面的文章中，我们已经学习了如何使用 Scrapy 来构建基本的爬虫项目。本篇文章将深入探讨 Scrapy 的高级应用，特别是如何实现并发爬取和分布式爬取。并发爬取和分布式爬取是提升爬虫效率的两大关键技术。并发爬取允许我们同时发出多个请求，大幅提高爬取速度；分布式爬取则让我们能够将爬取任务分散到多个机器上执行，从而处理大规模数据的抓取任务。
【python】多线程来提升scrapy的速度
Hurpe
09-27 3725
scrapy在单机跑大量数据的时候，在对settings文件不进行设置的时候，scrapy的爬取速度很慢，再加上多个页面层级解析，往往导致上万的数据可能爬取要半个小时之久，这还不包括插入数据到数据库的操作。下面是我在实验中测试并且验证爬取速度大幅度提升，不过前提你要注意到你爬取的目标网站有没有反IP的可能。 settings文件设置以下参数： DOWNLOAD_DELAY = 0 CONCURRENT_REQUESTS = 100 CONCURRENT_REQUESTS_PER_DOMAIN = 100 C
scrapy爬取智联招聘职位信息
01-07
首先，Scrapy是一个基于Twisted异步网络库的爬虫框架，它允许我们编写异步的爬虫，提高了爬取速度。在使用Scrapy时，我们需要创建一个Scrapy项目，通过`scrapy startproject`命令初始化项目结构。 项目中的主要组件...
scrapy爬取微博内容，根据关键词爬取，可获取微博博主id、时间、内容等，一秒爬取2000条
08-10
为了提高爬取速度，可以利用Scrapy的并发特性。在Scrapy的设置文件(`settings.py`)中，可以调整`DOWNLOAD_DELAY`设置来控制两个请求之间的间隔，这样可以在一定程度上避免被微博服务器封锁。考虑到题目中提到的每秒...
scrapy爬取大文件方法
07-04
本篇文章将深入探讨如何使用Scrapy来爬取大文件，并提供实践中的关键知识点。 首先，理解Scrapy的基本架构至关重要。Scrapy由多个组件组成，包括Spider、Downloader、Scheduler、Item Pipeline和Middleware等。...
Scrapy设置下载延时和自动限速
m0_49501453的博客
09-09 4972
Scrapy设置下载延时和自动限速 DOWNLOAD_DELAY 在settings.py文件中设置 #延时2秒，不能动态改变，时间间隔固定，容易被发现，导致ip被封 DOWNLOAD_DELAY=2　　 RANDOMIZE_DOWNLOAD_DELAY 在settings.py文件中设置 # 启用后，当从相同的网站获取数据时，Scrapy将会等待一个随机的值，延迟时间为0.5到1.5之间的一个随机值乘以DOWNLOAD_DELAY RANDOMIZE_DOWNLOAD_DELAY=Tru
02-27 提高scrapy爬取效率的方法
weixin_46400833的博客
02-27 907
1、增加并发（增加并发线程数） scrapy默认开启的线程为32个，可以适当增加。在setting文件中修改为 100 2、降低日志级别 在运行scrapy时会有大量日志信息输出，为了减少日志信息的输出，降低CPU的使用率，可以设置 输出错误日志 LOG_LEVEL='ERROR' 或者 'INFO' 3、禁止cookie 如果不是真的需要cookie，则在爬取数据时可以禁止cookie，从而减少CPU的使用率。在 setting中写 COOKIES_ENABLED=False 4、禁止重试： 对
scrapy多爬虫以及爬取速度
prog_li的博客
12-04 5962
scrapy多爬虫以及爬取速度 主要这段时间一直使用的就是scrapy这个框架，因为公司里面需要爬取大量的网站，所以才使用了多爬虫，但是目前测试也只是几十个，一直也想不到更好的方法去同时抓取成千上百个结构不同的网站，所以也很是苦逼的用了scrapy里面的多爬虫，对每个网站分别解析，还好虽然几次改需求但是字段都是统一的，可以很轻松的通过itempipline去入库。 像多爬虫这个东西，我
scrapy 速度优化
weixin_38859557的博客
01-17 2071
scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时IO操作时会释放GIL）所以简单的说，scrapy是...
【Scrapy爬虫系列2】性能调优
安全曼巴2020
11-27 1万+
加快爬虫速度： 在 settings.py 里把 TIMEOUT 设小点提高并发数（ CONCURRENT_REQUESTS ）瓶颈在 IO ，所以很有可能 IO 跑满，但是 CPU 没跑满，所以你用 CPU 来加速抓取其实是不成立的。不如开几个进程来跑死循环，这样 CPU 就跑满了 在 setting.py 里面，可以把单 IP 或者单 domain 的 concurrent
解决Scrapy性能问题——案例二（含有阻塞的代码）
04-26 6318
症状：系统非常慢，与期望的相差很大，并且当你修改CONCURRENT_REQUESTS的值的时候，速度并没有发生变化。下载器看起来几乎是空的（比CONCURRENT_REQUESTS的值要小），scraper中只有少量一些Response对象。示例：你可以使用这两个设置项（爬虫代码见这里）：SPEED_SPIDER_BLOCKING_DELAY和SPEED_PIPELINE_BLOCKING_DEL
知乎爬虫（scrapy默认配置下单机1小时可爬取60多万条数据）
热门推荐
AlexTan_的博客
08-10 1万+
知乎爬虫（scrapy默认配置下单机1小时可爬取60多万条数据）版本：1.0 作者: AlexTan 代码请移步GitHub：ZhihuSpider前言：在这里特别鸣谢: 九茶 http://blog.csdn.net/bone_ace 学了爬虫差不多快一年了，然而由于项目原因，这还是第一次发爬虫的博客，在学习的过程中，受益最大的就是看了九茶的微博爬虫吧，所以在这里特别鸣谢。 他的代码里涉及
如何提高scrapy的性能
weixin_34275734的博客
09-26 193
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值