python gevent缺点_python 协程 greenlet gevent

一、并发的本质

切换+保存状态

cpu正在运行一个任务，会在两种情况下切走去执行其他的任务(切换由操作系统强制控制)，一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长时间片到了

二、协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

1. python的线程属于内核级别的，即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行)

2. 单线程内开启协程，一旦遇到io，就会从应用程序级别(而非操作系统)控制切换，以此来提升效率(！！！非io操作的切换与效率无关)

三、协程的优缺点

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

四、协程的特点

1. 必须在只有一个单线程里实现并发

2. 修改共享数据不需加锁

3. 用户程序里自己保存多个控制流的上下文栈

4. 附加：一个协程遇到IO操作自动切换到其它协程(如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块(select机制))

(协程：本质是一个线程，能够在多个任务切换节省IO时间，任务切换耗时短，协程任务切换由程序完成)

五、在任务中切换的例子

defconsumer():whileTrue:

x= yield

print('deal:',x)defproducer():

c=consumer()

next(c)for i in range(10):print('generate:',i)

c.send(i)

producer()

六、greenlet

简单实例

#使用greenlet实现任务切换

from greenlet importgreenletdefeat():print('eat start')

g2.switch()print('eat end')

g2.switch()defplay():print('playing start')

g1.switch()print('playing end')

g1=greenlet(eat)

g2=greenlet(play)

g1.switch()

实例的执行顺序

七、gevent

gevent

Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

简介

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join()#等待g1结束

g2.join()#等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

例子1

#如果没有遇到能识别的IO操作，不会进行任务切换，实现并发效果#要加上from gevent import monkey;monkey.patch_all()

from gevent importmonkey;monkey.patch_all()importgevent,timedefeat():print('eat start')

time.sleep(1)print('eat end')defplay():print('playing start')

time.sleep(1)print('playing end')

g1=gevent.spawn(eat)

g2=gevent.spawn(play)

g1.join()

g2.join()

例子2

#我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程

from gevent importmonkey;monkey.patch_all()importthreadingimportgeventimporttimedefeat():print(threading.current_thread().getName())print('eat food 1')

time.sleep(2)print('eat food 2')defplay():print(threading.current_thread().getName())print('play 1')

time.sleep(1)print('play 2')

g1=gevent.spawn(eat)

g2=gevent.spawn(play)

gevent.joinall([g1,g2])print('主')

同步、异步效果

from gevent importmonkey;monkey.patch_all()importgeventimporttimedeftask():

time.sleep(1)print(123)defsynchronouse():for i in range(10):

task()defasynchronouse():

g_lst=[]for i in range(10):

g=gevent.spawn(task)

g_lst.append(g)

gevent.joinall(g_lst)

synchronouse()print('---')

asynchronouse()

例子-获取网站源码

from gevent importmonkey;monkey.patch_all()importrequestsimportgevent

url= ['http://www.baidu.com','http://www.sogou.com','http://www.hao123.com','http://www.taobao.com','http://www.cnblog.com']defget_url(url):

res=requests.get(url)

content=res.contentreturnlen(content)

g_lst=[]for i inurl:

g_lst.append(gevent.spawn(get_url,i))

gevent.joinall(g_lst)for i ing_lst:print(i.value)