Python异步编程和事件驱动

于 2022-01-14 13:38:10 发布
阅读量624 收藏 2
点赞数 1
分类专栏： 爬虫 数据分析 千锋宋宋老师-Python学习专栏 文章标签： python java 爬虫 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qfxietian/article/details/122492438
版权
本文介绍了Python的异步编程，包括同步和异步的概念、同步和异步编程模型、操作系统中的进程变化状态以及不同的IO编程模型。重点讨论了异步编程在解决I/O瓶颈和提高效率上的作用，同时提到了事件驱动模型在处理大量任务和I/O操作时的应用，如Tornado、Twisted和Gevent等框架。
摘要由CSDN通过智能技术生成

1、异步编程

[1] 同步和异步描述的是进程/线程的调用方式

同步和异步

  • 同步调用指的是线程发起调用后，一直等待调用返回后才继续执行下一步操作，这并不代表CPU在这段时间内也会一直等待，操作系统多半会切换到另一个线程上去，等到调用返回后再切换回原来的线程。

  • 异步就相反，发起调用后，线程继续向下执行，当调用返回后，通过某种手段来通知调用者。

解释和说明

  • 我们需要注意同步和异步过程中的调用返回，指的是内核进程将数据复制到调用进程。上面说的顺序式编程里面，通常调用就是同步的，上一步执行结束之后才会执行下一步。而异步编程中，如果遇到等待的操作，会继续往下执行，直到请求返回结果在进行处理。

  • 写一个使用多线程或多进程抓取网站内容的爬虫，但由于网络请求或对方网站等问题，导致某段时间内的请求网站请求很慢。即使设置的超时时间，那么在超时时间到来之前，这些进程或线程都是一个等待的状态，什么也干不了。

  • 而异步编程就很适合使用在如上的场景中，它可以通过切换任务的方式尽量减少闲置时间。如遇到等待的请求就先回跳过并执行下一个请求，等执行完成之后再回到这个请求。如果还是没有就绪，就切换到下下一个请求。

[2] 同步和异步编程模型解释及其图示说明

单线程的同步模型

在一个时刻，只能有一个任务在执行，并且前一

最低0.47元/天 解锁文章
qfxietian
关注
专栏目录
博客
一篇文章说清Python数据分析，这个学习路线绝了
01-02 9172
近年来，数据分析师的需求非常大，90%的岗位技能需要掌握Python作为数据分析工具。2021年史上最全Python数据分析学习路线，从语言基础、数据工具、商业分析、到机器学习，一篇文章帮你搞定，奥利给！话不多说，新手自学Python数据分析的4大阶段，直接开始。第一阶段：Python语言基础数据分析的第一步就是先玩明白Python语言。Python语言简洁，入门容易，包括语言基础、常用数据结构、函数、面向对象编程；以及Python自动化办公知识。学习成就：掌握Python语言作
博客
不要再走弯路了，最全的黑客入门学习路线在这
01-02 9550
在大多数的思维里总觉得学习网络安全得先收集资料、学习编程、学习计算机基础，这样不是不可以，但是这样学效率太低了！你要知道网络安全是一门技术，任何技术的学习一定是以实践为主的。也就是说很多的理论知识其实是可以在实践中去验证拓展的，这样学习比起你啃原理、啃书本要好理解很多。所以想要学习网络安全选对正确的学习方法很重要，这可以帮你少走很多弯路。因为如果你选择了一个低效的方法，也许别人都已经彻底学会了，你还停留在入门阶段。对于小白来说，有个人引导会比自学要高效的多，尤其是容易坚持不下去的小伙伴。学姐
博客
前端工程师学习指南，很清晰，高薪就业看它就够了
01-02 1177
寒假来了，要学习资源的同学太多了，不过没关系，都给你们一一安排上！基础入门阶段：HTML+CSS学习俗话说，万事开头难，总感觉入门如登天，入门如“入土”。不着急。Kerwin老师完美解决你的疑虑。列位可曾听说，“评书版”前端教程，带你入门，乐呵乐呵的就把这个门给入了。妈妈再也不用担心我的学习！PC端网站布局：其中包括：HTML基础，CSS基础，CSS核心属性，浮动，盒子模型，溢出，元素类型，安利案例，定位，锚点，精灵图，宽高自适应，表单进阶。HTML5+CSS3
博客
还不懂 ConcurrentHashMap ？这份源码分析了解一下
06-09 356
在JDK 8中的ConcurrentHashMap一共有5个构造方法，这几个构造方法中都没有对内部的数组做初始化， 只是对一些变量的初始值做了处理，其中ConcurrentHashMap的数组初始化是在第一次添加元素时完成的。当我们调用上面这个方法得到的初始容量，和HashMap以及JDK 7中的ConcurrentHashMap不同，即使我们传递的是一个2的幂次方数，该方法计算出来的初始容量依然是比该值大的2的幂次方数。注意：这些构造方法中，都会涉及sizeCtl变量，它是在构造方法里面的作用非常重要。
博客
5款免费检测恶意软件的云沙箱推荐
06-09 3373
Yomi The Malware Hunter需要用户在完成注册后才能使用文件上传和检测功能，它可以检测目前大多数的恶意软件威胁，并提供全面的静态分析、行为分析和网络分析服务。为了更好的防护恶意软件，避免由恶意软件造成的危害，必须对恶意软件进行分析，以了解恶意软件的类型、性质和攻击方法。该工具将许多分析工作都通过自动化方式去实现，因此对于刚接触网络安全分析的用户来说，这是一款非常不错的入门级工具，不需要专业的安全知识积累就可以快速地上手应用。
博客
两个好用到爆的Python模块，建议收藏
06-05 464
最常见的一个例子就是：在进行地理可视化中，自己收集的数据只保留的缩写，比如北京，广西，新疆，西藏等，但是待匹配的字段数据却是北京市，广西壮族自治区，新疆维吾尔自治区，西藏自治区等，如下。fuzz这几个ratio()函数（方法）最后得到的结果都是数字，如果需要获得匹配度最高的字符串结果，还需要依旧自己的数据类型选择不同的函数，然后再进行结果提取，如果但看文本数据的匹配程度使用这种方式是可以量化的，但是对于我们要提取匹配的结果来说就不是很方便了，因此就有了process模块。让你轻松解决烦恼的匹配问题！
博客
30个Python代码，10分钟get常用技巧
06-05 269
以下方法会检查给定的字符串是不是回文序列，它首先会把所有字母转化为小写，并移除非英文字母符号。以下方法将统计字符串中的元音 (‘a’, ‘e’, ‘i’, ‘o’, ‘u’) 的个数，它是通过正则表达式做的。这个方法可以将布尔型的值去掉，例如（False，None，0，“”），它使用 filter() 函数。备注 CSDN，可以免费领取啦！下面的代码可以将列表连接成单个字符串，且每一个元素间的分隔方式设置为了逗号。如下方法首先会应用一个给定的函数，然后再返回应用函数后结果有差别的列表元素。
博客
代码管理工具—Git操作详解
12-07 655
一. 代码管理工具简介说到代码工具，许多工作了的小伙伴一定很有发言权。因为我们在实际开发环境中，就代码的复杂度和逻辑度，对于开发工程师来说，都是极具挑战性的。如果单靠个人来完成单个项目的整体开发，那无疑是难上加难，因此就有个词孕育而生了——“协同开发”。也就是说，我们有许多个开发工程师，有的负责项目的这个模块，有的负责项目的那个模块。最后当我们将各自模块完成后，将其提交到远程，并进行代码合并。这个协同工具不仅减少了我们项目开发的难度，也加快了项目的开发进度。 二. 代码管理工具那既然大家现在知道了代码管理工
博客
TIOBE 12月编程语言榜：它年末弯道超车，挺近前三
12-07 564
2022年最后一个月了，编程语言有什么新的局势变化吗？ 近日，TIOBE 公布了 2022 年 12 月的编程指数信息，我们一起去看看吧！C++ 弯道超车和上个月相比，12 月榜单最大的变化莫过于 C++ 的弯道超车。过去很长一段 C++一直占据着 TIOBE 指数排名第 4 的位置，本月 C++ 拿下 11.94% 的市场份额，以 0.12% 微弱的优势超过了 11.82% 的 Java，挺近前三。这是在 TIOBE 指数的历史上，C++ 第一次超过了 Java，也是自2001年 TIOBE 索引开始以来
博客
10个实用的数据可视化的图表总结
12-07 573
可视化是一种方便的观察数据的方式，可以一目了然地了解数据块。我们经常使用柱状图、直方图、饼图、箱图、热图、散点图、线状图等。这些典型的图对于数据可视化是必不可少的。除了这些被广泛使用的图表外，还有许多很好的却很少被使用的可视化方法，这些图有助于完成我们的工作，下面我们看看有那些图可以进行。 1、平行坐标图（Parallel Coordinate）我们最多可以可视化 3 维数据。但是我们有时需要可视化超过 3 维的数据才能获得更多的信息。我们经常使用 PCA 或 t-SNE 来降维并绘制它。在降维的情况下，可
博客
Python实现循环的最快方式（for、while等速度对比）
12-07 427
众所周知，Python不是一种执行效率较高的语言。此外在任何语言中，循环都是一种非常消耗时间的操作。假如任意一种简单的单步操作耗费的时间为1个单位，将此操作重复执行上万次，最终耗费的时间也将增长上万倍。While和For是Python中常用的两种实现循环的关键字，它们的运行效率实际上是有差距的。比如下面的测试代码：这是一个简单的求和操作，计算从1到n之间所有自然数的总和。可以看到For循环相比While要快1.5秒。其中的差距主要在于两者的机制不同。在每次循环中，While实际上比For多执行了两步操
博客
23个机器学习最佳入门项目（附源代码）
12-07 403
我们都知道，教科书上所学与实际操作还是有出入的，那关于机器学习有什么好的项目可以实操吗？我们为你推荐这篇文章，在本教程中，涵盖面向初学者，中级专家和专家的23种机器学习项目创意，以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。通过项目学习是你短期内能做的最好投资，这些项目构想使你能够快速发展和增强机器学习技能。语言上，这些机器学习项目可以用Python，R或任何其他工具开发。面向初学者的机器学习项目在本部分中，我们列出了针对初学者/初学者的顶级
博客
用Python算法预测客户行为案例
11-09 702
这里只有5191.0这个值，没有其他的，且只有7763条数据，这里直接将这列当做异常值，直接将这列直接删除了。这里可以看出该银行的主要用户主要集中在23-60岁这个年龄层，其中29-39这个年龄段的人数相对其他年龄段多。这是一份kaggle上的银行的数据集，研究该数据集可以预测客户是否认购定期存款y。这里包含20个特征。需要文章中的源码了可以找下方 小姐姐哈。
博客
超详细，Python当中的pip常用命令大全
11-09 513
相信对于大多数熟悉Python的人来说，一定都听说并且使用过pip这个工具，但是对它的了解可能还不一定是非常的透彻，今天小编就来为大家介绍10个使用pip的小技巧，相信对大家以后管理和使用Python当中的标准库会有帮助。在下载安装一些标准库的时候，需要考虑到兼容问题，一些标准库的安装可能需要依赖其他的标准库，会存在版本相冲突等问题，我们先用下面这条命令行来检查一下是否会有冲突的问题存在。例如我们想要安装指定版本的第三方的包，例如安装3.4.1版本的matplotlib，
博客
保姆级的教你一步一步安装部署Zabbix
11-09 881
启动nginx、php-fpm、mysqld、zabbix_server服务后，安装zabbix前端页面。服务端-server(需要提前部署好lamp或者lnmp架构)执行zabbix_server启动服务。打开cmd运行界面，安装agent服务。
博客
10个常用的Java8日期处理函数案例详解
11-09 502
Java 8中的日期函数，主要是基于 ISO标准日历系统，java.time 包下的所有类都是不可变类型，且线程安全，现在。通过今天的文章，你现在对Java中的日期时间处理是否熟悉了呢？如果你还想学习其他的内容，可以加下方小姐姐免费领取学习教程。就日期处理的常用功能代码总结如下。
博客
测试开发的进阶之路到底应该如何走?
11-09 399
开发不认可提交的缺陷;测试人员在职场中需要什么都会, 什么都有接触, 好像是全栈, 但因为获取到的信息太多, 导致三脚猫功夫的测试人员一抓一大把, 在真实测试方向深度、质量管理、质量体系建设、团队测试方案等方面缺少深入的思考与沉淀。随着IT技术发展，近年来软件测试工程师在物联网、金融业务、终端测试、车载测试、5G、云端等方面的需求越来越多，企业对于人才的需要是测试开发复合型人才，“精通测试懂开发”才是核心竞争力。最后, 只有不断的学习, 突破自我, 勇于尝试自我的短板, 才能提升个人能力;
博客
开发中如何克服tomcat热部署弱的缺陷？
11-01 357
但在引入Maven进行管理项目后，很多学员在开发时依然会延用原有的开发习惯，也就是会继续给Web项目安装使用本地的tomcat，并配置发布环境。如果初次使用maven的tomcat插件做JavaWeb开发，那么maven本地仓库中应该是没有tomcat插件依赖包的，所以此时需要到maven中央仓库中先下载tomcat插件的依赖。选择并复制依赖包文本，加入pom.xml依赖区域，更新项目的maven依赖，会下载tomcat7-maven-plugs依赖到本地仓库。
博客
教你用测试的技术玩羊了个羊，如何秒杀一众好友？
09-20 686
在iPhone的设置 -> 无线局域网 -> 局域网信息 -> 配置代理 -> 手动中配置代理，服务器输入框中填写Charles所在的电脑的IP地址（我的就是192.168.1.2），端口输入框中填写Charles的代理端口（Charles默认就是8888）.玩了一遍又一遍，就是想过关！经过分析啊，我们都知道，这个游戏由2关组成，在开始游戏时会请求每关的基本信息（包括卡牌类型代码和卡牌组数），然后将3倍卡牌放入一个array中随机打乱，再放入地图指定位置，以达到随机关卡不给活路的目的……
博客
高频面试题 | RabbitMQ如何防止重复消费？
09-20 511
利用redis的setnx命令，将消费的消息id存入到redis，超时时间设置为10秒，然后再给mq返回ack。返回回调执行结果的过程中，因为网络抖动等原因，回调数据时，MQ没有返回成功，所以MQ队列中的数据会再次发给业务项目，造成重复消费。因为消费方和MQ服务器网络闪断等原因，造成了接收方消费后，返回给MQ服务器一个ack确认消息，结果MQ没有接收到，造成了重复消费。利用redis的setnx命令，以消息唯一id为key，以消息内容为value，超时时间设置为10秒，存入redis中；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值