Python aiohttp多线程并发爬虫

最新推荐文章于 2024-07-11 19:24:13 发布
最新推荐文章于 2024-07-11 19:24:13 发布
阅读量4.9k 收藏 3
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43690548/article/details/89167738
版权
本文探讨了使用Python的aiohttp库进行多线程并发爬虫时遇到的性能问题。在异步获取session后，多线程部分的代码运行时间过长，导致爬虫效率下降。通过计算，平均每个页面的处理时间为0.061秒，预计爬取1400章小说需87.03秒。调整timeout参数为90s后，实际爬取1415章，验证了计算结果的准确性，并指出多线程入口代码需进一步优化以提高效率。
摘要由CSDN通过智能技术生成

代码：

import re, requests, aiohttp, time, random, threading, asyncio, async_timeout
url = r'http://www.xbiquge.la/13/13959/'
# 用户代理
headers = [{'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'}, {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'}, {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;'}, {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'}, {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}, {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)'}, {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'}, {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'}, {'User-Agent': 'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'}, {'User-Agent': 'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}, {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.1
最低0.47元/天 解锁文章
望向缸外的大眼睛
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python支持多线程的爬虫实例
09-18
本实例中的Python多线程爬虫采用了后者模式，即创建了一个Crawler类继承自Thread类，并在Crawler类中定义了需要在新线程中运行的代码。通过创建多个Crawler实例，程序可以并发地执行多个线程，加快网络爬虫的运行...
python爬虫之多线程threading、多进程multiprocessing、协程aiohttp 批量下载图片
热门推荐
10-21 1万+
对于多任务爬虫来说，多线程、多进程、协程这几种方式处理效率的排序为：aiohttp协程 > 多线程 > 多进程。但是aiohttp协程难度有点复杂，需要了解，而且本人目前没有解决协程下载大尺寸图片不完整的情况，还需要后续继续学习。
简谈异步爬虫aiohttp
CorGi_8456的博客
08-19 1259
之前涉及到的爬虫，都基本上使用的requests库进行爬取。但是request获取网站内容的话，是有相应时间的，要不然也不会设置timeout了。但是，响应时间内，程序也在等待，响应时间越长等待时间就相对变长。因为python的自身原因多线程就不做最优选了（但是我很喜欢用=）），多进程则是利用cpu的多核在同一时间内进行多个任务。因此就该引出一个概念——协程coroutine。
python爬虫控制aiohttp并发数量方式
最新发布
Oona_01的博客
07-11 59
这篇文章主要介绍了python爬虫控制aiohttp并发数量方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教。1、控制请求的时间，用sleep延时，来消耗每一次访问的时间，减少单位时间内的访问量，这样肯定是可以，但效率太低。但是也存在一个问题，就是网站检测到短时间内请求的数量过多会导致页面请求不成成功，在使用aiohttp并发访问多个页面时效率，明显比串行requests快很多，以上为个人经验，希望能给大家一个参考，也希望大家多多支持。
解决 python aiohttp 创建很多线程问题
Mr_Ershat的博客
04-29 221
最近使用 python aiohttp 进行异步的发送请求，在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程，吓了我一跳。原因：每次发送请求时 aiohttp.ClientSession 查询dns。这个查询dns是阻塞的，所以它每次查询dns时开启一个线程的。所以我在代码里 给它指定了 dns查询对象 起作用了。Google了很久 找到解决方法了。运行程序时 有可能提示 需要。
python asyncio future 多线程_Python 中的 asyncio+aiohttp 为什么还要创建线程
weixin_39925959的博客
12-09 204
V2EX › PythonPython 中的 asyncio+aiohttp 为什么还要创建线程zl2003cn · 2017-02-21 11:11:43 +08:00 · 4092 次点击这是一个创建于 1387 天前的主题，其中的信息可能已经有所发展或是发生改变。asyncio 不是用协程吗？我理解协程就应该是一个进程只创建一个线程，由这个线程自行调度协程，而使用 asyncio+aioht...
aiohttp 高并发web服务_大型fastapi项目实战 高并发请求神器之aiohttp(上) [建议收藏]...
weixin_42513601的博客
02-06 1252
大型fastapi项目实战 高并发请求神器之aiohttp(上) [建议收藏]aiohttp介绍及安装1.背景介绍在 Python 众多的 HTTP 客户端中，最有名的莫过于 requests、aiohttp 和 httpx。在不借助其他第三方库的情况下，requests 只能发送同步请求；aiohttp 只能发送异步请求；httpx 既能发送同步请求，又能发送异步请求。在并发量大的情况下，如何高...
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
python3爬虫中多线程的优势总结
01-19
有些小伙伴跟小编讨论了python中使用多线程原理的问题，就聊到了关于python多线程的弊端问题，这点可能在使用的过程中大家会能感觉到。而且之前讲过的GIL也是对python多线程的一种限制。那么，我们为什么还要用多...
Python多线程爬虫简单示例
09-21
### Python多线程爬虫简单示例 在Python编程中，多线程是一种常见的技术，用于提高程序的并发性能。特别是在处理I/O密集型任务（如网络请求）时，多线程可以显著提升效率。本篇文章将详细介绍如何利用Python中的`...
python爬虫02-提升爬取效率、多线程，多线程传参，多进程，线程及线程池概念，协程，多任务异步协程，异步请求aiohttp模块，视频站工作原理
weixin_43745804的博客
09-30 446
1、提升爬取效率 使用多线程，多进程，携程，异步 2、多线程 进程是资源单位，每个进程，都会有一个默认的主线程 线程是执行单位 执行多线程需要导包： from threading import Thread 1、多线程第一种写法 from threading import Thread def func(): for index in range(1, 50): str2 = 'func' + str(index) print(str2) if __name__ == '__main__
Python aiohttp百万并发极限测试实例分析
09-18
主要介绍了Python aiohttp百万并发极限测试,结合实例形式分析了Python异步编程基于aiohttp客户端高并发请求的相关操作技巧与使用注意事项,需要的朋友可以参考下
Python中利用aiohttp制作异步爬虫及简单应用
09-19
asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。这篇文章主要介绍了Python中利用aiohttp制作异步爬虫的相关知识,需要的朋友可以参考下
【python】爬虫异步网络请求探索async+request与async+aiohttp
Light2077
10-21 2991
在学习协程的时候，会有一个疑问，使用协程语法进行异步请求时，比如，会有用吗？其实细想一下就知道，由于requests库是用同步的方式写的，因此是肯定没用的。但是本着实践出真知的思想，顺便复习巩固一下多线程、async、aiohttp的写法，还是手动来验证一下。为了规避网络波动等影响，在本地用Flask搭建一个简易的服务器用于测试。
python aiohttp百万并发
liujiandu101的博客
07-20 3505
本文将测试python aiohttp的极限，同时测试其性能表现，以分钟发起请求数作为指标。大家都知道，当应用到网络操作时，异步的代码表现更优秀，但是验证这个事情，同时搞明白异步到底有多大的优势以及为什么会有这样的优势仍然是一件有趣的事情。为了验证，我将发起1000000请求，用aiohttp客户端。aiohttp每分钟能够发起多少请求？你能预料到哪些异常情况以及崩溃会发生，当你用比较粗糙的脚本去...
aiohttp mysql 线程池_写一个简单的多线程任务执行器
weixin_36165049的博客
02-22 215
1)类结构.|____BaseTask.java 任务抽象类，具体的任务都要继承它|____TaskHandlerContext.java 单例的任务执行类|____Fabi.java 斐波那契计算工具类|____FabiTask.java 一个具体的任务： 执行斐波那契|____Main.java 主类，模拟收到的任务2)思路把收到的数据都封装为一个Task，然后自增任务id，不断的去添加任...
aiohttp mysql 线程池_协程一例：用aiohttp代替requests写异步爬虫
weixin_39864387的博客
02-07 436
这篇文章不规范也不完整，重新整理的更详细规范的介绍见这里，非常不建议阅读下文。网上aiohttp做爬虫的资料太少，官网文档是英文的看起来麻烦，所以自己部分半带翻译式的总结下通过requests获取html的函数基本上是这样import requestsdef func(url: str) ->str:headers = {'User-Agent': 'Mozilla/5.0 (Windows...
实战 | 用aiohttp和uvloop实现一个高性能爬虫
weixin_34417200的博客
04-10 430
asyncio于Python3.4引入标准库，增加了对异步I/O的支持，asyncio基于事件循环，可以轻松实现异步I/O操作。接下来，我们用基于asyncio的库实现一个高性能爬虫。 准备工作 Earth View from Google Earth是一款Chrome插件，会在打开新标签页时自动加载一张来自Google Earth的背景图片。 使用Chrome开发者工具观察插件的网络请求，我们...
使用aiohttp实现高并发网络请求
毛毛腿的博客
02-26 2638
import asyncio import aiohttp from bs4 import BeautifulSoup class AsnycGrab(object): def __init__(self, url_list, max_threads): self.urls = url_list self.max_threads = max_threa...
python爬虫多线程并发
09-01
Python爬虫多线程并发是指使用多个线程同时执行爬取任务，以提高爬取效率。通过并发执行，可以在同一时间内处理多个请求和响应，从而加快网页的下载和解析过程。 在Python中，可以使用多种方式实现爬虫的多线程并发。其中一种常见的方式是使用`threading`模块创建线程并管理线程的执行。通过创建多个线程，每个线程负责执行一个爬取任务，可以同时进行多个任务的爬取，提高整体的效率。 另一种方式是使用线程池。线程池可以预先创建一定数量的线程，并将任务分发给这些线程进行执行。通过线程池，可以有效地管理线程的创建和销毁，避免频繁地创建和销毁线程带来的开销。 多线程并发爬取的优点包括提高爬取效率、缩短爬取时间，同时还可以更好地利用计算机的多核处理能力。然而，需要注意的是，在进行多线程并发爬取时，需要考虑线程安全性和资源竞争的问题，避免出现数据错乱或者死锁等问题。 总结来说，Python爬虫多线程并发是一种提高爬取效率的方法，通过同时执行多个爬取任务，可以加快网页的下载和解析过程，从而更快地获取所需的数据。可以使用`threading`模块或线程池来实现多线程并发，但需要注意线程安全性和资源竞争的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python并发编程相关及在爬虫实战中的使用](https://blog.csdn.net/weixin_44327634/article/details/123948849)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [python并发爬虫——多线程、线程池实现](https://blog.csdn.net/sixteen_16/article/details/116176587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值