Python爬虫实战：单线程、多线程和协程性能对比

已于 2023-05-02 17:23:44 修改
阅读量1.8k 收藏 24
点赞数 25
分类专栏： Python爬虫实战 文章标签： python 爬虫 多线程 异步协程
于 2021-01-25 08:06:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fyfugoyfa/article/details/113083261
版权

文章目录

不自卑也不炫耀，不动声色变好，愿每一步都奔走在自己的热爱中

一、前言

今天我要给大家分享的是如何爬取中农网产品报价数据，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。

目标URL：https://www.zhongnongwang.com/quote/product-htm-page-1.html

爬取产品品名、最新报价、单位、报价数、报价时间等信息，保存到本地Excel。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
叶庭云
关注
  • 25
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 16
    评论
专栏目录
订阅专栏
Python 爬取京东商品评论 + 词云展示
叶庭云 成为自己的光
08-12 1万+
利用python爬虫爬取京东商品评论数据，并绘制词云展示。
Python爬虫实战：数据采集、处理与分析
12-18
Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据...
selectpicker默认展示前100条_Python 爬取京东商品评论 + 词云展示！
weixin_28903813的博客
01-06 550
利用python爬虫爬取京东商品评论数据，并绘制词云展示。1. 爬取商品评论数据在京东商城里搜索三只松鼠，选取一家店铺打开点开商品评价，选择只看当前商品评价，按时间排序查看，发现一页有10条评论。打开谷歌的调试工具，点开Network查看，京东的商品评论信息是存放json包中的。分析Request URL，里面有一些关键参数，productId是这个商品的ID，sortType为评论的排序方式，p...
【Python】进程、线程、协程爬虫性能比较
hanhan的博客
02-15 1542
0、协程优缺点总结 优点 缺点 Py协程基础 1、svr api 用于测试 2、依赖gevent的协程使用 3、依赖asyncio的协程使用 4、demo代码 单进程多协程 单进程多线程 多进程多协程 5、结果统计（取三次平均）
Python实现异步的三种方法
热门推荐
m0_73716246的博客
08-22 1万+
如 time.sleep() 时，操作如 input() 用户输入前，requests.get()等待请求返回数据前，程序也会处于阻塞状态，一般情况下，当程序处于IO操作时，线程都会处于阻塞状态，CPU是不在此工作的。协程：如上图，白色为时间轴，当程序遇见IO操作的时候，可以选择性地切换到其他任务上（类似if-else），以这种形式提高CPU利用率，宏观上看就是多个任务一起执行（多任务异步操作）先写一个函数，在最前面加一个 async 修饰，得到一个异步协程函数，此时函数是一个协程对象，
Python——单线程与多线程
weixin_43213658的博客
05-06 3243
import requests import time link_list = [] with open ("C:/Users/Administrator/Desktop/alexa.txt") as file: file_list = file.readlines() for eachone in file_list: link = eachone.sp...
python 多线程和协程的区别
ch_atu的博客
09-23 1270
都能进行多任务。
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的...3.这点其实和多线程关系不大，scrapy的并发并不是采用多线程来实现，它是一个twisted应用，通过异
Python爬虫开发：从入门到实战(微课版).pptx
06-12
Python爬虫开发：从入门到实战（微课版） 读书笔记模板 Python爬虫开发：从入门到实战(微课版)全文共33页，当前为第1页。 01 思维导图 读书笔记 目录分析 内容摘要 精彩摘录 作者介绍 目录 03 05 02 04 06 Python...
Python爬虫实战：获取地理空间数据、卫星图像和地理位置信息.docx
最新发布
03-04
Python爬虫实战：获取地理空间数据、卫星图像和地理位置信息 引言 地理信息系统（GIS）是一个综合的技术领域，用于捕捉、储存、管理、分析和展示地理数据。地理信息系统应用广泛，从城市规划到环境保护，都需要准确...
Python协程性能测试asyncio vs gevent（异步并发）
墨痕诉清风的博客
01-29 1855
很多异步io操作这两个库都可以用，只是他们在不同场景下的效率和易用性可能有区别，当然这个得进行深入的测试和研究，单就现在普通的场景来说，区别并不大。纯用 asyncio 性能可以做到 redis 的 68%，而加上 uvloop 后可以做到 redis 的 88%，当然程序比较简单，没有复杂的数据处理，主要就是测评网络 I/O 性能。gevent 用会替换标准库，你以为调用的是标准库的方法实际已经被替换成gevent自己的实现，遇到阻塞调用，gevent会自动让出CPU。
以爬虫为例，单线程，协程，线程，进程之间性能的比较，原来协程可以这么快？
max_LLL的博客
05-01 662
前言 因为刚刚学习到了协程，然后之前也对爬虫有一定的了解，所以打算结合之前学的线程和进程，和协程进行对比，看看它的性能到底有多高，在测试完成后，结果还是不错的！下面就直接上代码了，因为代码逻辑都比较简单，我就不一一解释了，重点是看测试结果，真的很让人兴奋！！！ 案例 我这里以爬取一个网站上的所有国家的旗帜为例。（下图为爬取结果，共192张）分别利用了单线程，协程，多线程，多进程进行爬取测试。线程的效率真的已经很高了，但是协程居然比它还高！！！ 定位旗帜的url 我这里使用的xpath对
Python 爬虫：单线程、多线程和协程的爬虫性能对比
【CSDN官方推荐】
03-02 488
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以点击下方链接自行获取 Python免费学习资料、代码以及交流解答点击即可加入 今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。 具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/
python3--进程,线程,协程效率对比
qq_43966957的博客
11-25 400
python3--进程,线程,协程效率对比
python 多线程、多进程、协程网络性能对比
vzdong1的博客
07-30 831
python 多线程、多进程、协程性能对比
Python爬虫：单线程、多线程和协程的爬虫性能对比！
m0_52915161的博客
02-21 2110
大家好，我是漆柒七7！ 首先见面礼 Python学习大礼包 点击领取 然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。 具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/ 除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下： 爬取测试 下面我演示使用xpath解析数据。 入口页数据读取： import request
python - 多线程和协程速率测试对比
python学习者的博客
07-17 1825
多线程和协程都属于IO密集型，我通过以下用例测试多线程和协程的实际速率对比。 实例：通过socket客户端以多线程并发模式请求不同服务器端（这里服务器端分2种写法：第一种服务器通过协程实现，第二种服务器通过多线程实现）的访问速率 第一种服务器端写法：通过gevent实现 第二种服务器端写法：通过多线程实现 客户端： 结果：客户端每次运行，自动生成100个线程...
python3 多进程， 多线程， 协程性能对比 以及GIL锁解释
hea_gui_lion的博客
01-06 2689
描述 对于python来说， 多线程是python的软肋。在官方文档表明，根据程序的不同类型，如是I/O密集型，CPU密集型，分别使用多线程，多进程会使性能达到最佳。本文的主要目的是笔者在面试过程中，提及到线程，进程，协程对于爬虫来说，哪个性能会更好（笔者本人认为是进程加协程二者配合会达到更好的效果）。希望通过本文来让其他人对于爬虫的线程，进程，协程使用有更深的理解。   本文涉及的环境模块...
python多进程多线程协程
09-23
Python多进程是指在一个程序中同时运行多个进程，每个进程都有自己的独立空间和运行环境。多进程可以实现并行处理，提高程序的执行效率。Python提供了multiprocessing模块来实现多进程编程。 Python多线程是指在一个程序中同时运行多个线程，每个线程都可以执行一段代码，实现多任务处理。多线程可以实现并发执行，提高程序的响应速度。Python提供了threading模块来实现多线程编程。 Python协程是一种轻量级的线程，可以在一个线程内实现多个任务的切换和执行，提高程序的并发性能。Python提供了asyncio模块来实现协程编程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值