python3的async/await做异步编程

协程就是单线程
协程就是遇到IO挂起，等待，充分利用CPU的操作。

这个解释不那么官方 ，但是理解就是这样的。

我就写个简单的代码应用 。就是自己的笔记。

import asyncio
import aiohttp
import aiofiles

这三个包都要引用，没有就安装一下。

aiohttp客户端最简单的例子

async def get_http(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as res:
            global count
            count += 1
            print(count, res.status)

def main():
    loop = asyncio.get_event_loop()
    url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baiduerr&bar=&wd={0}'
    tasks = [get_http(url.format(i)) for i in range(10)]
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()
    
if __name__ == '__main__':
    main()

aiohttp并发量太大的异常解决方案

提示：此方法也可用来作为异步爬虫的限速方法（反反爬）

信号量
信号量(Semaphore)

当线程完成一次对该semaphore对象的等待(wait)时,该计数值减一
当线程完成一次对该semaphore对象的释放(release)时,计数值加一
当计数值为0,则线程等待该semaphore的对象不再能成功直至该semaphore对象变成signaled状态
semaphore的对象的计数值大于0,为signaled状态,计数值等于0,为nosignaled状态
使用semaphore = asyncio.Semaphore(500) 以及在协程中使用 async with semaphore:

async def get_http(url):
    async with semaphore:
        async with aiohttp.ClientSession() as session:
            async with session.get(url) as res:
                global count
                count += 1
                print(count, res.status)

if __name__ == '__main__':
    count = 0

    semaphore = asyncio.Semaphore(500)
    loop = asyncio.get_event_loop()
    url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baiduerr&bar=&wd={0}'
    tasks = [get_http(url.format(i)) for i in range(600)]
    loop.run_until_complete(asyncio.wait(tasks))
    loop.close()

这块代码 脑子里有，写的话还是问题 ，还是得多练练。我这里就简单记录下。