从0基础学习Python (30) [生成器] [协程]

从0基础学习Python (30) [生成器] [协程]

1.生成器

利用迭代器，可以在每次迭代获取数据(通过next方法)时，按照特点的规律进行生成，但是我们在实现一个迭代器的时候，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。为了达到记录当前状态，并配合next方法进行迭代使用。这种方式，提前将数据创建好

1>什么是生成器

生成器是一种特殊的迭代器

2>创建生成器

1. 创建生成器，只需要把一个列表推导式的[]改成()

   p = (i for i in range(1000))
   print(p)
   

2. 创建生成器，只需要在一个函数中使用yield语句，那么这个函数也不再叫函数，就叫生成器。yield在函数里面出现，这就是一个生成器模板

   def create_shui(startnum, endnum):
       while startnum < endnum:
           ge = startnum % 10
           shi = (startnum % 100) // 10
           bai = (startnum % 1000) // 100
           qian = startnum // 1000
           if startnum == ge ** 3 + shi ** 3 + bai ** 3 + qian ** 3:
               # print(startnum)
               yield startnum
           startnum += 1
   
   
   if __name__ == "__main__":
       ret=create_shui(1, 1000)
       print(ret)
       for item in ret:
           print(item)
   

   只要在调用一个函数时发现函数中有yield，那么这就不是调用函数，而是创建了一个生成器对象

3>yield关键字

yield的本质作用是：将该函数标记为生成器。在调用有yield关键字的函数时，目标生成一个生成器对象。对这个生成器对象进行迭代时，每次的迭代都只执行到yield这块。而yield后面的数据是本次迭代的产物数据。只要不进行下一次迭代，代码流程一致监听在yield这块

1. 保存当前的运行状态，然后暂停执行，也就是将生成器挂起
2. yield关键字后面的表达式作为值返回

可以对生成器使用next()函数让生成器开始迭代一次，也就是唤醒一次生成器

python3中的生成器里面可以使用return返回最终运行的返回值，而在Python2中生成器里面绝对不允许出现return的返回值(Python2中可以使用return但是return后面绝对不能有数据表达式)

4>使用send唤醒

1. send一般不会放到第一次启动生成器，如果非要这样做，那么选择传递一个None
2. send里面的参数会当做信息传递给yield当做yield的结果，然后通过一个变量可以接收这个结果
3. send的结果是下一调用yield时，yield后面的值

5>并发执行的模拟

import time
def upload():
    while True:
        time.sleep(0.5)
        print("上传文件")
        yield

def download():
    while True:
        time.sleep(1)
        print("下载文件")
        yield

def main():
    ret1 = upload()
    ret2 = download()
    i = 1
    while i <4:
        next(ret2)
        next(ret1)
        i += 1

这个过程其实就是先让ret2先运行一会，当ret2中遇到了yield，让ret1运行

然后当ret1中遇到了yield再让ret2运行，这样就实现了/ret2/ret1/ret2/ret1/…交替运行，最终实现了所谓的并发

2.协程

1>什么是协程

实现多任务的第三种方式使用协程，协程本质是先实现并发。控制多个任务之间轮流交替执行

协程又叫做“微线程”、“纤程”

使用协程实现多任务，它只比线程更小，占用的执行单位资源更小。

协程其实只是线程的一个执行单元，因为他自带CPU上下文。只需要在合适的时机，可以进行协程间的切换工作。只要这个过程中保存或恢复CPU上下文那么程序还是可以运行。而协程就具备这样的能力。

2>线程和协程的差异

在实现多任务的时候，线程切换是从系统中远不止保存和恢复CPU上下文这么简单，操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮我们做这些数据的回复操作。所以说多线程的切换非常消耗资源及计算机性能。

但是协程的切换只是非常单纯的操作CPU的上下文，只是切换CPU去不同的任务中从刚才停止的代码开始执行。所以协程一秒钟切换个几百万次也不是问题

3>greenlet

为了更好的使用协程来完成多任务，Python中的greenlet模块主要就是对其进行封装，从而使得切换任务变得更加简单

from greenlet import greenlet
import time

def upload():
    while True:
        time.sleep(0.5)
        print("上传文件")
        grt2.switch()

def download():
    while True:
        time.sleep(1)
        print("下载文件")
        grt1.switch()

grt1=greenlet(upload)
grt2=greenlet(download)

# 控制download先执行
grt2.switch()

4>gevent实现协程

greenlet已经实现了协程，但是这个还是相当于人为进行切换，因此由对greenlet进行封装出一个gevent模块

原理是：当一个greenlet遇到IO(输入或输出，比如网络访问、文件下载等)耗时操作时，就自动切换到其他的greenlet，等到IO操作完成，再在合适的时候切换回来继续执行

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行而不是等待IO

安装gevent包使用下面命令：

sudo apt-get install python3-gevent

import gevent
import time

def upload(num):
    for i in range(num):
        gevent.sleep(1)
        print(f"{gevent.getcurrent()}------{i}")

def download(num):
    for i in range(num):
        gevent.sleep(1)
        print(f"{gevent.getcurrent()}------{i}")

gvt1 = gevent.spawn(upload,5)
gvt2 = gevent.spawn(download,5)
print(time.time())
gvt1.join()
gvt2.join()
print(time.time())

用来模拟一个耗时的操作，time模块中的sleep换成gevent模块中的sleep

5>给程序打补丁

这个补丁就是理解为是进行替换工作

#1.导入monkey模块
from gevent import monkey
#2.然后在后面调用patch_all方法
monkey.patch_all()
#3.剩下的工作完全按照之前的开发流程

Day30-------END