Python协程那些事,async await快速学会异步编程!

Python协程

一、协程

• 协程不是计算机提供，程序员人为创造。
• 协程（Coroutine），也可以被称为微线程，是一种用户态内的上下文切换技术 <=> 通过一个线程实现代码块相互切换。

单线程同步

def func1():
    print(1)
    print(2)


def func2():
    print(3)
    print(4)

func1()
func2()

特点: 一个函数排队执行 遇到阻塞程序就卡死了。

实现协程有这么几种方法：

• greenlet，早期模块。
• yield关键字。
• asyncio装饰器（py3.4）
• async、await关键字（py3.5)【推荐】

1.1 greenlet实现协程

'''

pip3 install greenlet
'''

from greenlet import greenlet

def func1():
    print(1)        # 第1步：输出 1
    gr2.switch()    # 第3步：切换到 func2 函数
    print(2)        # 第6步：输出 2
    gr2.switch()    # 第7步：切换到 func2 函数，从上一次执行的位置继续向后执行


def func2():
    print(3)        # 第4步：输出 3
    gr1.switch()    # 第5步：切换到 func1 函数，从上一次执行的位置继续向后执行
    print(4)        # 第8步：输出 4


# 创建对象 加载函数
gr1 = greenlet(func1)
gr2 = greenlet(func2)

# 执行对应函数
gr1.switch() # 第1步：去执行 func1 函数

1.2 yield关键字

def func1():
    yield 1
    yield from func2()
    yield 2


def func2():
    yield 3
    yield 4


f1 = func1()
for item in f1:
    print(item)

应用场景:适用于读取大量的文件数据，yield from 生成器函数调用, 本质还是返回一直值。

yield生成器，生成器函数调用后返回一个可迭代对象(内部实现了__iter__,__next__方法) 通过循环可以获取yield返回的值，节省内存。

1.3 asyncio

import asyncio

@asyncio.coroutine
def func1():
    print(1)
    # 网络IO请求：下载一张图片
    yield from asyncio.sleep(2)  # 遇到IO耗时操作，自动化切换到tasks中的其他任务
    print(2)


@asyncio.coroutine
def func2():
    print(3)
    # 网络IO请求：下载一张图片
    yield from asyncio.sleep(2) # 遇到IO耗时操作，自动化切换到tasks中的其他任务
    print(4)


tasks = [
    asyncio.ensure_future( func1() ),
    asyncio.ensure_future( func2() )
]

# 事件循环 + 任务池 可以跑协程
loop = asyncio.get_event_loop()
loop.run_until_complete( asyncio.wait(tasks) )

优势:函数内遇到io不需要我们手动处理，而是自动切换到另外的任务去。

1.4 async & await关键字

import asyncio

async def func1():
    print(1)
    # 网络IO请求：下载一张图片
    await asyncio.sleep(2)  # 遇到IO耗时操作，自动化切换到tasks中的其他任务
    print(2)


async def func2():
    print(3)
    # 网络IO请求：下载一张图片
    await asyncio.sleep(2) # 遇到IO耗时操作，自动化切换到tasks中的其他任务
    print(4)


tasks = [
    asyncio.ensure_future( func1() ),
    asyncio.ensure_future( func2() )
]

# 事件循环 + 任务池 可以跑协程
loop = asyncio.get_event_loop()
loop.run_until_complete( asyncio.wait(tasks) )

特点: 装饰器改为 async 异步函数 类似JS中写法，await挂起操作，等待。等待的过程中如果有多个任务，程序就会切换执行！

2.协程意义

在一个线程中如果遇到IO等待时间，线程不会傻傻等，而是利用空闲的时候再去干点其他事，核心思想:遇到io切换执行代码。

案例：去下载三张图片（网络IO）。

• 普通方式（同步）

  """ pip3 install requests """
  
  import requests
  
  
  def download_image(url):
  	print("开始下载:",url)
      # 发送网络请求，下载图片
      response = requests.get(url)
  	print("下载完成")
      # 图片保存到本地文件
      file_name = url.rsplit('_')[-1]
      with open(file_name, mode='wb') as file_object:
          file_object.write(response.content)
  
  
  if __name__ == '__main__':
      url_list = [
          'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
          'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
          'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
      ]
      for item in url_list:
          download_image(item)
  

  特点: 单线程，循环执行每一个任务，假设下载一张图片是2s，三张图片就是6s 效率不好。

• 协程方式（异步）

  """
  下载图片使用第三方模块aiohttp，请提前安装：pip3 install aiohttp & pip3 install aiofiles
  """
  
  import aiohttp
  import asyncio
  import aiofiles
  
  
  async def fetch(session, url):
      print("发送请求：", url)
      await asyncio.sleep(1)
      async with session.get(url, verify_ssl=False) as response:
          content = await response.content.read()
          file_name = url.rsplit('_')[-1]
          # 文件存储
          async with aiofiles.open(file_name, mode='wb') as file_obj:
              await file_obj.write(content)
          print('下载完成',url)
  
  async def main():
      async with aiohttp.ClientSession() as session:
          url_list = [
              'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
              'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
              'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
          ]
          tasks = [ asyncio.create_task( fetch(session, url) ) for url in url_list ]
  
          await asyncio.wait(tasks)
  
  
  if __name__ == '__main__':
      asyncio.get_event_loop