asyncio async和await列表推导式实现异步高并发执行

import asyncio
import random
import time

# 需求:有一个crontab调度器,每隔1秒,拉起1个job,要求这些job可以并发爬取网页
async def cron_scheduler():
    page0 = 1
    start = time.time()
    for i in range(10000):
        url0 = "{}/{}".format("https://baidu.com", page0)
        [asyncio.create_task(cron_job(url0)) for i in range(50 )]
        await asyncio.sleep(0)  # 主动让渡线程
    end = time.time()
    print("time:",end-start)

async def cron_job(url):
    n = random.randint(1, 3)  # 模拟下载延迟
    await asyncio.sleep(n)
    print("下载结束:", url)

asyncio.run(cron_scheduler())

  推导式异步更快

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值