python的多线程和yield

最新推荐文章于 2023-02-26 17:09:14 发布

lingling-fa

最新推荐文章于 2023-02-26 17:09:14 发布

阅读量1.1k

点赞数

分类专栏： python 设计模式多线程文章标签： python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_43960117/article/details/119044026

版权

拉取、入库的优化点：

请求接口：
- 场景：原来一次请求一个月的数据，可能会面临接口卡顿的问题，而且数据量过大，有时候会溢出
- 解决：可以考虑由一次请求 切分为 小而多次请求
  - 加个for循环，分为小批量去请求，避免接口数据量过大
  - 将多次请求采用多线程进行，避免单线程I/O阻塞（可以异步操作，可以先发送请求而不等待结果返回）
```
    
    with futures.ThreadPoolExecutor() as executor: # 可传入线程数
            # 传入执行的方法 和 参数列表，会等待所有线程执行完毕
            query_info_list = list
```

最低0.47元/天解锁文章

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
python的多线程和yield

拉取、入库的优化点：请求接口：场景：原来一次请求一个月的数据，可能会面临接口卡顿的问题，而且数据量过大，有时候会溢出解决：可以考虑由一次请求切分为小而多次请求加个for循环，分为小批量去请求，避免接口数据量过大将多次请求采用多线程进行，避免单线程I/O阻塞（可以异步操作，可以先发送请求而不等待结果返回） with futures.ThreadPoolExecutor() as executor: # 可传入线程数 # 传入执行的方
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。