aiohttp与aiomultiprocess结合使用

aiohttp与aiomultiprocess结合使用

这是之前听大神讲异步的时候看到的一篇教程，后来又查了一些资料，汇总了一下，先记下来，后续用到了再深入研究。

AsyncIO和多进程处理本身是有用的，但是有局限性:AsyncIO仍然不能超过GIL的速度，而且一次只能处理一个任务。但是，只要结合在一起，他们就能充分发挥自己的潜力。
aiomultiprocess提供了一个简单的接口，同时在每个子进程上运行一个完整的AsyncIO事件循环，支持Python应用程序中从未有过的并发级别。每个子进程可以同时执行多个协程，仅受工作负载和可用内核数量的限制。

aiohttp 异步request方法

async def aiohttp_get(num):
    """
    aiohttp 获取get方法
    :param num:
    :return:
    """
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0',
    }
    params = {"num": num}
    async with aiohttp.request("GET", URL, params=params, headers=headers) as response:
        return await response.json()

在子进程上简单执行

async def main_aiomultiprocess(num):
    """
    异步多进程调用,不返回结果
    :param num:
    :return:
    """
    p = Process(target=aiohttp_get, args=(num,))
    p.start()
    await p.join()

从子进程的协程上获取返回结果

async def main_aiomultiprocess_worker(num):
    """
    异步多进程调用，返回结果
    :param num:
    :return:
    """
    p = Worker(target=aiohttp_get, args=(num,))
    p.start()
    await p.join()
    print(p.result)

异步协程进程池

async def main_aiomultiprocess_pool(num):
    """
    异步多进程池调用
    :param num:
    :return:
    """
    async with Pool() as pool:
        results = await pool.map(aiohttp_get, range(num))
        for r in results:
            print(r)

执行python脚本main方法

if __name__ == '__main__':
    asyncio.run(main_aiomultiprocess_worker(10))