协程基础了解

目录

一.概念

协程是啥

协程和线程差异

二.协程介绍

三.Greenlet模块

四.Gevent模块

---

 

一.概念

之前我们学习了线程、进程的概念，了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题，都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。

随着我们对于效率的追求不断提高，基于单线程来实现并发又成为一个新的课题，即只用一个主
线程（很明显可利用的cpu只有一个）情况下实现并发。这样就可以节省创建线进程所消耗的时间。

为此我们需要先回顾下并发的本质：切换+保存状态
　　cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），
一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长
在介绍进程理论时，提及进程的三种执行状态，而线程才是执行单位，所以也可以将上图理解为线程的三种状态
　　一：其中第二种情况并不能提升效率，只是为了让cpu能够雨露均沾，实现看起来所有任务都被
“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。
　　为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法，我们来简单复习一下：

协程是啥

协程是python个中另外一种实现多任务的方式，只不过比线程更小占用更小执行单元（理解为需要的资源）。 为啥说它是一个执行单元，因为它自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定

协程和线程差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

并发的本质： 切换+保存状态

注释
#1 yiled可以保存状态，yield的状态保存与操作系统的保存线程状态很像，但是yield是代码级别控制的，更轻量级
#2 send可以把一个函数的结果传给另外一个函数，以此实现单线程内程序之间的切换
#串行执行

send和next()区别:
1. send和next()都是让生成器向下走一次
2. send可以给上一个yield的位置传递值, 不能给最后一个yield发送值. 在第一次执行生成器代码的时候不能使用send()

.生成器：

https://blog.csdn.net/jcf52/category_11672262.htmlhttps://blog.csdn.net/jcf52/category_11672262.html单纯地切换反而会降低运行效率

第一种：

import time
def consumer(res):
    pass
def producer():
    res = []
    for i in range(100):
        res.append(i)
        print(i)
    return res
start = time.time()
res = producer()
consumer(res)
stop = time.time()
print(stop-start)

第二种情况：

import time
def consumer():
    while  True:
        x = yield
        print('x',x)
def producer():
    g = consumer()
    next(g)
    print(next(g))
    for i in range(100):
        g.send(i)    #send可以给上一个yield的位置传递值, 不能给最后一个yield发送值. 在第一次执行                        
                       #生成器代码的时候不能使用send() 所以使用next进行位置变化
        print(i)
start = time.time()
producer()     #并发执行,但是任务producer遇到io就会阻塞住,并不会切到该线程内的其他任务去执行 
stop = time.time()
print(stop-start)

结果： 

x None
None
x 0
0
x 1
1
x 2
2
x 3
3
x 4
4
x 5
5
x 6
6
x 7
7
x 8
8
x 9
9
4.863739013671875e-05

第一种情况的切换。在任务一遇到io情况下，切到任务二去执行，这样就可以利用任务一阻塞的时间完成任务二的计算，效率的提升就在于此。

yield无法做到遇到io阻塞

对于单线程下，我们不可避免程序中出现io操作，但如果我们能在自己的程序中（即用户程序级别，而非操作系统级别）控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算，这样就保证了该线程能够最大限度地处于就绪态，即随时都可以被cpu执行的状态，相当于我们在用户程序级别将自己的io操作最大限度地隐藏起来，从而可以迷惑操作系统，让其看到：该线程好像是一直在计算，io比较少，从而更多的将cpu的执行权限分配给我们的线程。

协程的本质就是在单线程下，由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行，
以此来提升效率。为了实现它，我们需要找寻一种可以同时满足以下条件的解决方案：

1. 可以控制多个任务之间的切换，切换之前将任务的状态保存下来，以便重新运行时，可以基于暂停的位置继续执行
2. 可以检测io操作，在遇到io操作的情况下才发生切换

二.协程介绍

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

需要强调的是：

1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
2.  单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

对比操作系统控制线程的切换，用户在单线程内控制协程的切换：

优点如下

1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级
2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程
2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

总结协程特点：

1. 必须在只有一个单线程里实现并发 
2. 修改共享数据不需加锁 
3. 用户程序里自己保存多个控制流的上下文栈 
4. 一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））

三.Greenlet模块

安装 ：pip3 install greenlet

from greenlet import greenlet
import  time
def fun():
    while True:
        print('--ke--')
        keke.switch()
        time.sleep(0.5)

def fun1():
    while True:
        print('--keke--')
        ke.switch()
        time.sleep(0.5)

ke = greenlet(fun)
keke = greenlet(fun1)
#切换到gr1中运行
ke.switch()#可以在第一次switch时传入参数，以后都不需要 

就这样一直运行下去 

---

四.Gevent模块

greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块 gevent
其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。
由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有
greenlet在运行，而不是等待IO

安装：pip3 install gevent

用法介绍

1. g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的
2. g2=gevent.spawn(func2)
3. g1.join() #等待g1结束
4. g2.join() #等待g2结束
5. #或者上述两步合作一步：gevent.joinall([g1,g2])
6. g1.value#拿到func1的返回值

import gevent
def ke(n):
    for i in range(n):
        print(gevent.getcurrent(),i)

g1 = gevent.spawn(ke,5)
g2 = gevent.spawn(ke,5)
g3 = gevent.spawn(ke,5)
g1.join()
g2.join()
g3.join()

<Greenlet at 0x7fb2d92d7648: ke(5)> 0
<Greenlet at 0x7fb2d92d7648: ke(5)> 1
<Greenlet at 0x7fb2d92d7648: ke(5)> 2
<Greenlet at 0x7fb2d92d7648: ke(5)> 3
<Greenlet at 0x7fb2d92d7648: ke(5)> 4
<Greenlet at 0x7fb2d92d7d48: ke(5)> 0
<Greenlet at 0x7fb2d92d7d48: ke(5)> 1
<Greenlet at 0x7fb2d92d7d48: ke(5)> 2
<Greenlet at 0x7fb2d92d7d48: ke(5)> 3
<Greenlet at 0x7fb2d92d7d48: ke(5)> 4
<Greenlet at 0x7fb2d92d7e48: ke(5)> 0
<Greenlet at 0x7fb2d92d7e48: ke(5)> 1
<Greenlet at 0x7fb2d92d7e48: ke(5)> 2
<Greenlet at 0x7fb2d92d7e48: ke(5)> 3
<Greenlet at 0x7fb2d92d7e48: ke(5)> 4

import gevent 
def f(n): 
    for i in range(n):
    print(gevent.getcurrent(), i) 
    #用来模拟一个耗时操作，注意不是time模块中的sleep 
    gevent.sleep(1) 

g1 = gevent.spawn(f, 5) 
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5) 
g1.join() 
g2.join() 
g3.join()