Asyncio wait与gather的学习笔记

Asyncio wait与gather的学习笔记

asyncio.wait与gather

最近在写一个网络爬虫,用asyncio、aiohttp来实现,主要目的是利用网络爬虫,将公司的陈年办公系统数据,爬取到一个简单的数据库结构中,忽略陈年办公系统的平台架构,只要数据。因为陈年办公系统的平台已经无用了,还废资源去保存整套架构,没有必要,而且如果平台出现硬件故障时,已经无人知晓如何恢复整个平台应用,因为技术储备已经淘汰了。
所以用网络爬虫是一个很好的选择。使用asyncio和aiohttp又是最优方案。其中wait和gather的使用又是其中的关键。这里我会借用其他作者的有关wait和gather的知识。

asyncio.wait

先看一段代码:定义3个异步调用的函数,然后在入口函数main(loop)中调用。

// An highlighted block
import asyncio
import time
def save_file(file,data):
    time.sleep(2)
    print("Hello {} save file success!".format((str(file))))

async def hello1(loop):  # 大约10print("Hello world 01 begin")
    await asyncio.sleep(10)
    await loop.run_in_executor(None,
  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值