Python基础学习之多任务-协程详细讲解

在这里插入图片描述
前言

学习Python的小伙伴对于他的多任务一定不会陌生,那么多任务中的协程又有几个小伙伴们知道呢?在本文将重点剖析协程这个知识点。

正文

一、协程简介
  协程
  协程,又称微线程,纤程。英文名Coroutine。
  协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
  通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定
  协程和线程差异
  在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。
  # 进程 启动多个进程 进程之间是由操作系统负责调用
  # 线程 启动多个线程 真正被CPU执行的最小单位实际是线程
  # 协程
  # 本质上是一个线程
  # 能够在多个任务之间切换来节省一些IO时间
  # 协程中任务之间的切换也消耗时间,但是开销要远远小于进程线程之间的切换
  简单实现协程

import time

def work1():
while True:
print(“work1”)
yield
time.sleep(0.5)

def work2():
while True:
print(“work2”)
yield
time.sleep(0.5)

if name == “main”:
w1 = work1()
w2 = work2()
while True:
next(w1)
next(w2)

二、greenlet

为了更好使用协程来完成多任务,python中的greenlet模块对其封装,从而使得切换任务变的更加简单。

from greenlet import greenlet
import time

def test1():
while True:
print(“test1”)
# 切换gt2运行
gt2.switch()
time.sleep(1)

def test2():
while True:
print(“test2”)
# 切换gt1运行
gt1.switch()
time.sleep(1)

gt1 = greenlet(test1)
gt2 = greenlet(test2)

切换gt1运行

gt1.switch()

三、gevent
  greenlet已经实现了协程,但是这个还得人工切换,是不是觉得太麻烦了,不要捉急,python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent
  其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
  由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

1、gevent的使用

import gevent

def test(n):
for i in range(n):
print(gevent.getcurrent(), i)

g1 = gevent.spawn(test, 5)
g2 = gevent.spawn(test, 5)
g3 = gevent.spawn(test, 5)

g1.join()
g2.join()
g3.join()

执行结果:

<Greenlet at 0x7f688ad95748: test(5)> 0
<Greenlet at 0x7f688ad95748: test(5)> 1
<Greenlet at 0x7f688ad95748: test(5)> 2
<Greenlet at 0x7f688ad95748: test(5)> 3
<Greenlet at 0x7f688ad95748: test(5)> 4
<Greenlet at 0x7f688ad95948: test(5)> 0
<Greenlet at 0x7f688ad95948: test(5)> 1
<Greenlet at 0x7f688ad95948: test(5)> 2
<Greenlet at 0x7f688ad95948: test(5)> 3
<Greenlet at 0x7f688ad95948: test(5)> 4
<Greenlet at 0x7f688ad95a48: test(5)> 0
<Greenlet at 0x7f688ad95a48: test(5)> 1
<Greenlet at 0x7f688ad95a48: test(5)> 2
<Greenlet at 0x7f688ad95a48: test(5)> 3
<Greenlet at 0x7f688ad95a48: test(5)> 4
可以看到,3个greenlet是依次运行而不是交替运行

2. gevent切换执行

import gevent

def test(n):
for i in range(n):
print(gevent.getcurrent(), i)
gevent.sleep(1) # 用来模拟一个耗时操作,注意不是time模块中的sleep

g1 = gevent.spawn(test, 5)
g2 = gevent.spawn(test, 5)
g3 = gevent.spawn(test, 5)

g1.join()
g2.join()
g3.join()

执行结果:

<Greenlet at 0x7fe357a77748: test(5)> 0
<Greenlet at 0x7fe357a77948: test(5)> 0
<Greenlet at 0x7fe357a77a48: test(5)> 0
<Greenlet at 0x7fe357a77748: test(5)> 1
<Greenlet at 0x7fe357a77948: test(5)> 1
<Greenlet at 0x7fe357a77a48: test(5)> 1
<Greenlet at 0x7fe357a77748: test(5)> 2
<Greenlet at 0x7fe357a77948: test(5)> 2
<Greenlet at 0x7fe357a77a48: test(5)> 2
<Greenlet at 0x7fe357a77748: test(5)> 3
<Greenlet at 0x7fe357a77948: test(5)> 3
<Greenlet at 0x7fe357a77a48: test(5)> 3
<Greenlet at 0x7fe357a77748: test(5)> 4
<Greenlet at 0x7fe357a77948: test(5)> 4
<Greenlet at 0x7fe357a77a48: test(5)> 4

3. 给程序打补丁

import gevent
from gevent import monkey
import random
import time

有耗时操作时需要

monkey.patch_all() # 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块

def test(name):
for i in range(10):
print(name, i)
time.sleep(random.random())

gevent.joinall([
gevent.spawn(test, “test1”),
gevent.spawn(test, “test2”)
])

执行结果:

test1 0
test2 0
test2 1
test1 1
test1 2
test1 3
test2 2
test1 4
test1 5
test2 3
test1 6
test1 7
test2 4
test2 5
test1 8
test2 6
test2 7
test1 9
test2 8
test2 9

四、进程、线程、协程对比

通俗描述
  有一个老板想要开个工厂进行生产某件商品(例如剪子)
  他需要花一些财力物力制作一条生产线,这个生产线上有很多的器件以及材料这些所有的 为了能够生产剪子而准备的资源称之为:进程
  只有生产线是不能够进行生产的,所以老板的找个工人来进行生产,这个工人能够利用这些材料最终一步步的将剪子做出来,这个来做事情的工人称之为:线程
  这个老板为了提高生产率,想到3种办法:
  在这条生产线上多招些工人,一起来做剪子,这样效率是成倍増长,即单进程 多线程方式
  老板发现这条生产线上的工人不是越多越好,因为一条生产线的资源以及材料毕竟有限,所以老板又花了些财力物力购置了另外一条生产线,然后再招些工人这样效率又再一步提高了,即多进程 多线程方式
  老板发现,现在已经有了很多条生产线,并且每条生产线上已经有很多工人了(即程序是多进程的,每个进程中又有多个线程),为了再次提高效率,老板想了个损招,规定:如果某个员工在上班时临时没事或者再等待某些条件(比如等待另一个工人生产完谋道工序 之后他才能再次工作) ,那么这个员工就利用这个时间去做其它的事情,那么也就是说:如果一个线程等待某些条件,可以充分利用这个时间去做其它事情,其实这就是:协程方式
  简单总结
  进程是资源分配的单位
  线程是操作系统调度的单位
  进程切换需要的资源很最大,效率很低
  线程切换需要的资源一般,效率一般(当然了在不考虑GIL的情况下)
  协程切换任务资源很小,效率高
  多进程、多线程根据cpu核数不一样可能是并行的,但是协程是在一个线程中 所以是并发

五、图片下载器

from gevent import monkey
import gevent
import urllib.request

monkey.patch_all()

def down_img(img_name, img_url):
req = urllib.request.urlopen(img_url)
content = req.read()
with open(img_name, ‘wb’) as f:
f.write(content)

if name == “main”:
gevent.joinall([
gevent.spawn(down_img, “1.jpg”, “网址”),
gevent.spawn(down_img, “2.jpg”, “网址”),
])

结论
  通过本文的的代码实例讲解各位小伙伴们对于Python开发多任务中的协程是不是有了一个初步的了解?那么接下来就靠小伙伴们自己的多多努力了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
校园失物招领系统管理系统按照操作主体分为管理员和用户。管理员的功能包括字典管理、论坛管理、公告信息管理、失物招领管理、失物认领管理、寻物启示管理、寻物认领管理、用户管理、管理员管理。用户的功能等。该系统采用了Mysql数据库,Java语言,Spring Boot框架等技术进行编程实现。 校园失物招领系统管理系统可以提高校园失物招领系统信息管理问题的解决效率,优化校园失物招领系统信息处理流程,保证校园失物招领系统信息数据的安全,它是一个非常可靠,非常安全的应用程序。 ,管理员权限操作的功能包括管理公告,管理校园失物招领系统信息,包括失物招领管理,培训管理,寻物启事管理,薪资管理等,可以管理公告。 失物招领管理界面,管理员在失物招领管理界面中可以对界面中显示,可以对失物招领信息的失物招领状态进行查看,可以添加新的失物招领信息等。寻物启事管理界面,管理员在寻物启事管理界面中查看寻物启事种类信息,寻物启事描述信息,新增寻物启事信息等。公告管理界面,管理员在公告管理界面中新增公告,可以删除公告。公告类型管理界面,管理员在公告类型管理界面查看公告的工作状态,可以对公告的数据进行导出,可以添加新公告的信息,可以编辑公告信息,删除公告信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值