Python通过协程实现异步爬虫--asyncio技巧

已于 2024-03-17 17:37:28 修改
阅读量4.3k 收藏 21
点赞数 24
分类专栏： 爬虫副业实战，零基础、进阶教学 文章标签： python 爬虫 异步 asyncio
于 2023-12-29 14:59:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlefun591/article/details/135291140
版权
本文介绍了如何利用Python的asyncio模块通过协程实现高性能的异步爬虫。详细阐述了异步爬虫的背景、协程解决IO阻塞问题的原理，并提供了多任务异步爬虫的代码实现，包括使用aiohttp库进行异步网络请求。通过实例展示了协程在爬虫中的应用，帮助读者理解并掌握协程在爬虫中的高效运用。
摘要由CSDN通过智能技术生成

文章目录

高性能异步爬虫

1.引入

很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。接下来，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。

2.背景

其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。

所以单线程下串行多个爬虫任务是比较低效的，是因为爬虫任务是明显的IO密集型（阻塞）程序。那么该如何提高爬取性能呢？查看下述的分析测试！

3.处理方案 协程

  • 无论多进程还是多线程哪种解决方案其实没有解决一个性能相关的问题：

    • IO阻塞，无论是多进程还是多线程，在遇到IO阻塞时都会被操作系统强行剥夺走CPU的执行权限(使得cup执行其他操作，其他操作可能是我们程序的其他部分，也可能是其他的应用程序)，我们自己程序的执行效率因此就降低了下来。
      IO阻塞的时候，和CPU没关系了
      输入和输出，IO操作其实就限制你程序运行的效率
了解本专栏 订阅专栏 解锁全文 超级会员免费看
景天科技苑
关注
  • 24
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Python爬虫之异步爬虫
小李学不完的博客
03-31 1202
协程的基本原理、aiohttp的使用、aiohttp异步爬取实战。import asyncio # 引入asyncio包，这样才能使用async和await关键字。async def execute(x): # 使用async定义了一个execute方法，该方法接受一个数字参数x，执行之后会打印这个数字。coroutine = execute(1) # 调用这execute方法，然而没有被执行，而是返回了一个coroutine协程对象。
python爬虫进阶|异步协程
weixin_54787921的博客
06-22 911
python爬虫进阶 | 异步协程前言一、基本概念二、异步协程 前言 之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身是阻塞式的编程，所以时间都花费在了等待网页结果的返回和对爬取到的数据的写入上面。而如果采用非阻塞编程，那么就没有这个困扰。这边首先要理解一下阻塞和非阻塞的区别。 阻塞调用是指调用结果返回之前，当前线程会被挂起（线程进入非可
Python实现基于协程的异步爬虫
weixin_34318272的博客
02-21 492
Python实现基于协程的异步爬虫 一、课程介绍 1. 课程来源 本课程核心部分来自《500 lines or less》项目，作者是来自 MongoDB 的工程师 A. Jesse Jiryu Davis 与 Python 之父 Guido van Rossum。项目代码使用 MIT 协议，项目文档使用 http://creativecommons.org/licenses/by/3.0/leg...
python协程重入_python3爬虫中异步协程的用法
weixin_39959349的博客
12-06 159
1. 前言在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密集型任务非常有效。如将其应用到网络爬虫中，爬取效率甚至可以成百倍地提升。注：...
python3爬虫中异步协程的用法
09-16
在本篇文章里小编给大家整理的是关于python3爬虫中异步协程的用法，需要的朋友们可以学习参考下。
Python关于爬虫的异步携程
m0_69844818的博客
12-04 789
def func1(): print(1) .... print(2) def func2()): print(3) .... print(4) //只有一个线程来切换协程,来回切换 func1() func2()携程(Coroutine),也可以被称为微线程,是一种用户态上下文切换技术,起始技术通过一个线程实现代码块相互切换执行例如。Task继承Future,Task对象内部await结果的处理基于Future对象来的。await+可等待的对象(协程对象,Future,Task对象->IO等待)'
Python进阶必学库：使用asyncio实现协程爬虫
github_39463644的博客
07-25 1583
Python进阶必学库：使用asyncio实现协程爬虫 HackPython致力于有趣有价值的编程教学 简介 asyncio是Python3.x中比较复杂的概念
python异步爬虫（协程asyncio和aiohttp）
weixin_51410591的博客
10-31 781
协程（单线程），英文叫coroutine，又称微线程、纤程，是一种运行在用户状态的轻量级线程。它拥有自己的寄存器上下文和栈，在调度切换时，将寄存器上下文和栈保存到其他地方，等切回来时，再恢复到先前保存的寄存器上下文和栈。因此，协程能保留上一次调用时的状态，所有局部状态的一个特定组合，每次过程重入，就相当于进入上一次调用的状态。1. event_loop：事件循环，相当于一个无限循环，我们可以把一个函数注册到这个事件循环上，当满足发生条件的时候，就调用对应的处理方法。
Python实现基于协程的异步爬虫-内含源码以及设计说明书(可以自己运行复现).zip
05-08
通过以上分析，我们可以看到，Python的协程和事件驱动编程在实现异步爬虫时具有显著优势。相比于线程池，协程更适合于IO密集型任务，并且代码更加简洁、易于理解。而相对于回调函数，协程则提供了更好的可读性和可...
超牛逼的异步协程爬虫
12-21
写在前面： 本来这篇文章只是用来记录一下学习异步协程爬虫的笔记，感谢CSDN的大力支持，引来了很多关注和浏览，也有很多大佬的批评指针。 事先声明：本文只是学习使用，在爬虫的实战应用中还要添加诸多限制，比如UA伪装，添加timeout，设置代理等等。 在此感谢以下大佬的批评指针： 血色v残阳 热爱造轮子的程序员 … 文章目录一、引入二、异步协程1. event_loop2. coroutine3. task4. future5. 绑定回调三、多任务协程 一、引入 如果因为 IO 阻塞导致被操作系统强行剥夺走 CPU 的执行权限，程序的执行效率会降低了下来。 想要解决这个问题，我们可以自己从应用程
Python基于协程的异步爬虫.zip
最新发布
05-18
本教程将深入探讨如何基于Python的协程实现异步爬虫。 首先，我们要理解什么是协程。协程是一种轻量级的并发机制，它允许程序在执行过程中暂停并保存状态，然后在稍后恢复执行，而无需线程切换的开销。Python中的...
python爬虫-超高速异步协程Python爬虫算法实现.zip
02-25
超高速异步协程是Python中实现高性能爬虫的关键技术之一，它结合了异步编程和协程的概念，使得爬虫在处理大量网络请求时能够更加高效、快速。 异步编程允许程序在等待IO操作（如网络请求）完成时，不被阻塞，而是...
Python爬虫-使用python实现的超高速异步协程爬虫项目.zip
03-09
本项目聚焦于使用Python实现的超高速异步协程爬虫，旨在提高爬虫的效率和性能，应对大规模网页抓取的需求。下面将详细阐述Python爬虫、异步编程以及协程的基本概念，以及如何利用它们来构建高效的爬虫项目。 **...
Python异步爬虫进阶——协程的用法
weixin_50910721的博客
04-09 1104
爬虫是 IO 密集型任务（输入input/输出output），比如我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行（请求出去了得等它回来），而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何的事情。因此，有必要提高程序的运行效率，异步就是其中有效的一种方法。
基于协程的异步爬虫
军军的博客
07-19 629
基于tornado框架的异步爬虫小例子： #!/usr/bin/env python # -*- coding: utf-8 -*- # created by fhqplzj on 2017/07/19 下午5:48 import logging import time from datetime import timedelta from urlparse import urljoin, ur
异步爬虫-协程实现
qq_45009608的博客
02-06 348
单线程+异步协程 事件循环：event_loop 相当与一个无限循环，可以把我们的任务或者协程对象放进去。 loop = asyncio.get_event_loop() //获得事件循环 协程对象：我们可以将协程对象注册到事件循环中，会被事件循环 调用。 task/future任务：对协程对象的进一步封装，包含任务的各个状态。 区别生成的方式不同 task = asyncio.ensure_future('c) task = loop.create_task('c) 协程函数 :通过def
06爬虫-异步协程
baizhi1304的博客
10-01 198
1. 前言（目的就是大大提升爬虫效率） 　　在执行IO密集型任务的时候，代码常常遇到IO操作而等待。例如我们在爬虫的时候，用到requests请求的时候，网页响应慢，一直等待着，那么爬虫的效率会大大的降低。 为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密集型任务非常有效。如将其应用到网络爬虫中，爬取效率甚至可以成百倍地提升。 注：本...
python爬虫之异步与协程(附带实例)
weixin_54279427的博客
01-29 2549
异步爬虫 目的：在爬虫中使用异步实现 实现方式： 多进程，多线程（不建议） 好处：可以为相关阻塞单独开启线程或者进程，阻塞操作就可以异步执行 弊端：无法无限制开启多线程或者多进程 进程池：（适当使用） 好处：可以减低系统对进程创建和销毁的一个频率，从而很好的减低系统的开销 弊端：进程池线程或进程的数量是有限的 实例： import time from multiprocessing.dummy import Pool start_time=time.time() def get_page(st
python 异步协程爬虫
08-30
异步协程爬虫是利用Python中的异步编程和协程机制来实现高效的网络爬虫。通过使用异步协程，可以在一个线程中同时处理多个网络请求，提高爬取数据的效率。 在Python中，可以使用asyncio库来实现异步协程爬虫。下面是一个简单的异步协程爬虫的示例代码： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): urls = ['http://example.com', 'http://example.org', 'http://example.net'] async with aiohttp.ClientSession() as session: tasks = [] for url in urls: task = asyncio.create_task(fetch(session, url)) tasks.append(task) responses = await asyncio.gather(*tasks) for response in responses: print(response) if __name__ == '__main__': asyncio.run(main()) ``` 在上面的代码中，我们首先定义了一个`fetch`函数，用于发送异步HTTP请求并返回响应的内容。然后，在`main`函数中，我们创建了一个异步的`ClientSession`对象，用于发送并发的HTTP请求。接着，我们使用`asyncio.create_task`函数创建了多个任务，并将其添加到任务列表中。最后，使用`asyncio.gather`函数等待所有任务完成，并打印每个响应的内容。 通过使用异步协程爬虫，可以实现高效的并发请求，从而加快爬取数据的速度。同时，由于使用了异步编程的机制，还可以避免阻塞主线程，提高整个程序的运行效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

景天科技苑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值