Python greenlet的使用，gevent和猴子补丁

最新推荐文章于 2024-05-08 08:37:01 发布

板栗妖怪

最新推荐文章于 2024-05-08 08:37:01 发布

阅读量583

点赞数 17

文章标签： python 前端 linux

本文链接：https://blog.csdn.net/banliyaoguai/article/details/136889391

版权

本文介绍了greenlet库用于完成协程任务的基本概念，以及gevent库如何通过自动管理I/O操作实现更高效的并发处理。通过猴子补丁，gevent能感知并利用多线程下载多个网页示例。

摘要由CSDN通过智能技术生成

注：代码有解释

greenlet

#greenlet 完成协程任务,封装你的生成器
import time

from greenlet import greenlet


#在执行下面三个任务的时候，当前进程是开了三个线程
#sleep就相当于线程暂停
def a():
    for i in range(5):
        print('a' + str(i))
        # 要睡了就跳转到b函数
        gb.switch()
        time.sleep(0.1)
def b():
    for i in range(5):
        print('b' + str(i))
        # 要睡了就跳转到c函数
        gc.switch()
        time.sleep(0.1)
def c():
    for i in range(5):
        print('c' + str(i))
        #要睡了就跳转到a函数
        ga.switch()
        time.sleep(0.1)
if __name__ == '__main__':
    #switch切换greenlet,还没运行任务，就是启动任务
    ga = greenlet(a)
    gb = greenlet(b)
    gc = greenlet(c)
    ga.switch()

结果

gevent和猴子补丁

'''
greenlet已经实现了协程，但是这个人切换，是不是觉得太麻烦了，不要着急，
prthon还有一个比greenlet,更强大的并且能够自动切换任务的模块 gevent
其原理是当一个以greenlet遇到I0(指的是input output输入输出，
比如网络、文件操作等)操作时，比如访间网络，就自动切换到其他的greenlet 等到I0完成
再适当的时候切换回来继续执行，
由于I0操作非常耗时，经常使程序处于等待状态，
就保证总有greenlet在运行，而不是等待I0
'''
import time
import gevent
from  gevent import monkey
#gevent对普通的time.sleep是没有感知的
#猴子补丁，一般使用到gevent就会使用monkey，猴子补丁可以将普通的sleep换成gevent有感知的那种sleep
monkey.patch_all()
#在执行下面三个任务的时候，当前进程是开了三个线程
def a():
    for i in range(5):
        print('a' + str(i))
        time.sleep(0.1)
def b():
    for i in range(5):
        print('b' + str(i))

        time.sleep(0.1)

def c():
    for i in range(5):
        print('c' + str(i))

        time.sleep(0.1)
if __name__ == '__main__':
    #主进程结束了，gevent就结束了
    ga = gevent.spawn(a)
    gb = gevent.spawn(b)
    gc = gevent.spawn(c)
    ga.join()
    gb.join()
    gc.join()

结果

gevent使用案例

import requests
import gevent
from gevent import monkey
monkey.patch_all()
def download(url):
    #读取网页需要时间，所以这里可以多线程进行操作
    response = requests.get(url)
    content = response.text
    print('下载了{}的数据，数据长度{}'.format(url,len(content)))
if __name__ == '__main__':
    urls = ['http://www.baidu.com','http://www.163.com','http://www.jd.com']
    g1 = gevent.spawn(download,urls[0])
    g2 = gevent.spawn(download,urls[1])
    g3 = gevent.spawn(download,urls[2])
    g1.join()
    g2.join()
    g3.join()