协程
以我对协程的了解,当程序遇见了IO操作的时候. 可以选择性的切换到其他任务上.。
在微观上是一个任务一个任务的进行切换. 切换条件一般就是IO操作。在宏观上,我们能看到的其实是多个任务一起在执行。多任务异步操作。所谓异步就是不同步。上方所讲的一切. 都是在单线程的条件下。通俗点讲就是,你行你就上,不行旁边等着让别人上,啥时候行了你再上。
async def func():
print("你好啊, 我叫赛利亚")
if __name__ == '__main__':
g = func() # 此时的函数是异步协程函数. 此时函数执行得到的是一个协程对象
# print(g)可以尝试着打印出来,系统会提示你它是一个对象
asyncio.run(g) # 协程程序运行需要asyncio模块的支持
接下来是多个任务在一起时的异步操作。
async def func1():
print("你好啊, 我叫潘金莲")
await asyncio.sleep(3)#异步操作,挂起
print("你好啊, 我叫潘金莲")
async def func2():
print("你好啊, 我叫王建国")
await asyncio.sleep(2)
print("你好啊, 我叫王建国")
async def func3():
print("你好啊, 我叫李雪琴")
await asyncio.sleep(4)
print("你好啊, 我叫李雪琴")
async def main():
# 第一种写法
# f1 = func1()
# await f1 # 一般await挂起操作放在协程对象前面
# 第二种写法(推荐)
tasks = [
asyncio.create_task(func1()), # py3.8以后加上asyncio.create_task()
asyncio.create_task(func2()),
asyncio.create_task(func3())
]
await asyncio.wait(tasks)
if __name__ == '__main__':
t1 = time.time()
# 一次性启动多个任务(协程)
asyncio.run(main())
t2 = time.time()
print(t2 - t1)
#最后的时间仅仅比挂起时间最长的多一点点
在爬虫领域的应用
async def download(url):
print("准备开始下载")
await asyncio.sleep(2) # 如果用爬虫网络请求 不能直接requests.get(),下面会简单讲解一下异步的reques.get()操作
print("下载完成")
async def main():
urls = [
"http://www.baidu.com",
"http://www.bilibili.com",
"http://www.163.com"
]
# 准备异步协程对象列表
tasks = []
for url in urls:
d = asycio.create_task(download(url))
tasks.append(d)
# tasks = [asyncio.create_task(download(url)) for url in urls] # 也可以这么写
# 一次性把所有任务都执行
await asyncio.wait(tasks)
if __name__ == '__main__':
asyncio.run(main())
requests.get() 同步的代码 -> 异步操作aiohttp
这里呢,还是用了优美的那个网站
urls = [
"http://kr.shanghai-jiuxin.com/file/2020/1031/191468637cab2f0206f7d1d9b175ac81.jpg",
"http://kr.shanghai-jiuxin.com/file/2020/1031/563337d07af599a9ea64e620729f367e.jpg",
"http://kr.shanghai-jiuxin.com/file/2020/1031/774218be86d832f359637ab120eba52d.jpg"
]
async def aiodownload(url):
# 发送请求.
# 得到图片内容
# 保存到文件
name = url.rsplit("/", 1)[1] # 从右边切, 切一次. 得到[1]位置的内容
async with aiohttp.ClientSession() as session: # 类似于requests
async with session.get(url) as resp: # 类似于resp = requests.get()
# 请求回来了. 写入文件
with open(name, mode="wb") as f: # 创建文件
f.write(await resp.content.read()) # 读取内容是异步的. 需要await挂起, resp.text()
print(name, "over")
async def main():
tasks = []
for url in urls:
tasks.append(aiodownload(url))
await asyncio.wait(tasks)
if __name__ == '__main__':
asyncio.run(main())