asyncio 有无ThreadPoolExecutor配合实例

最新推荐文章于 2024-02-02 14:11:12 发布
最新推荐文章于 2024-02-02 14:11:12 发布
阅读量1k 收藏 4
点赞数
原文链接：https://blog.csdn.net/weixin_43097301/article/details/84800772
版权

task 是协程和 Future 的桥梁。

1.协程和线程池

结果中会认为配合线程池，不那么快。
但是，配合还是会带来一些好处，
比如：使用多线程,以至于整个主线程不阻塞

# coding=utf-8
import asyncio
import logging
from concurrent.futures import ThreadPoolExecutor
import time

logging.basicConfig(
    level=logging.INFO,
    format=" %(asctime)s [*] %(threadName)s %(message)s"
)


def call_back01 (x):
    time.sleep(3)
    logging.info(f"Get:{x}")


async def call_back02 (x):
    await asyncio.sleep(3)
    logging.info(f"Get:{x}")


if __name__ == "__main__":
    now = time.time()
    loop = asyncio.get_event_loop()
    
    # 1.协程和线程池-----------------------------------------------------
    ex = ThreadPoolExecutor(max_workers=10)
    tasks = list()
    for i in range(20):
        tasks.append(loop.run_in_executor(ex, call_back01, i))
    
    # 2.单单协程---------------------------------------------------------
    # tasks = [asyncio.ensure_future(call_back02(i)) for i in range(20)]
    loop.run_until_complete(asyncio.wait(tasks))
    print("总用时", time.time() - now)

输出：

 2019-10-09 21:23:52,313 [*] ThreadPoolExecutor-0_1 Get:1
 2019-10-09 21:23:52,314 [*] ThreadPoolExecutor-0_0 Get:0
 2019-10-09 21:23:52,314 [*] ThreadPoolExecutor-0_2 Get:2
 2019-10-09 21:23:52,314 [*] ThreadPoolExecutor-0_3 Get:3
 2019-10-09 21:23:52,314 [*] ThreadPoolExecutor-0_5 Get:5
 2019-10-09 21:23:52,314 [*] ThreadPoolExecutor-0_4 Get:4
 2019-10-09 21:23:52,315 [*] ThreadPoolExecutor-0_7 Get:7
 2019-10-09 21:23:52,315 [*] ThreadPoolExecutor-0_6 Get:6
 2019-10-09 21:23:52,315 [*] ThreadPoolExecutor-0_9 Get:9
 2019-10-09 21:23:52,315 [*] ThreadPoolExecutor-0_8 Get:8
 2019-10-09 21:23:55,315 [*] ThreadPoolExecutor-0_1 Get:10
 2019-10-09 21:23:55,316 [*] ThreadPoolExecutor-0_3 Get:12
 2019-10-09 21:23:55,317 [*] ThreadPoolExecutor-0_2 Get:13
 2019-10-09 21:23:55,318 [*] ThreadPoolExecutor-0_0 Get:11
 2019-10-09 21:23:55,318 [*] ThreadPoolExecutor-0_5 Get:14
 2019-10-09 21:23:55,319 [*] ThreadPoolExecutor-0_4 Get:15
 2019-10-09 21:23:55,319 [*] ThreadPoolExecutor-0_7 Get:16
 2019-10-09 21:23:55,324 [*] ThreadPoolExecutor-0_8 Get:19
 2019-10-09 21:23:55,324 [*] ThreadPoolExecutor-0_9 Get:18
 2019-10-09 21:23:55,324 [*] ThreadPoolExecutor-0_6 Get:17
总用时 6.01738715171814

2.单单协程

# coding=utf-8
import asyncio
import logging
from concurrent.futures import ThreadPoolExecutor
import time

logging.basicConfig(
    level=logging.INFO,
    format=" %(asctime)s [*] %(threadName)s %(message)s"
)


def call_back01 (x):
    time.sleep(3)
    logging.info(f"Get:{x}")


async def call_back02 (x):
    await asyncio.sleep(3)
    logging.info(f"Get:{x}")


if __name__ == "__main__":
    now = time.time()
    loop = asyncio.get_event_loop()
    
    # 1.协程和线程池-----------------------------------------------------
    # ex = ThreadPoolExecutor(max_workers=10)
    # tasks = list()
    # for i in range(20):
    #     tasks.append(loop.run_in_executor(ex, call_back01, i))
    
    # 2.单单协程---------------------------------------------------------
    tasks = [asyncio.ensure_future(call_back02(i)) for i in range(20)]
    loop.run_until_complete(asyncio.wait(tasks))
    print("总用时", time.time() - now)

输出：

 2019-10-09 21:23:24,115 [*] MainThread Get:0
 2019-10-09 21:23:24,116 [*] MainThread Get:2
 2019-10-09 21:23:24,116 [*] MainThread Get:6
 2019-10-09 21:23:24,116 [*] MainThread Get:14
 2019-10-09 21:23:24,117 [*] MainThread Get:19
 2019-10-09 21:23:24,117 [*] MainThread Get:18
 2019-10-09 21:23:24,117 [*] MainThread Get:17
 2019-10-09 21:23:24,118 [*] MainThread Get:16
 2019-10-09 21:23:24,118 [*] MainThread Get:13
 2019-10-09 21:23:24,118 [*] MainThread Get:15
 2019-10-09 21:23:24,118 [*] MainThread Get:12
 2019-10-09 21:23:24,119 [*] MainThread Get:11
 2019-10-09 21:23:24,119 [*] MainThread Get:10
 2019-10-09 21:23:24,119 [*] MainThread Get:9
 2019-10-09 21:23:24,119 [*] MainThread Get:8
 2019-10-09 21:23:24,119 [*] MainThread Get:5
 2019-10-09 21:23:24,120 [*] MainThread Get:7
 2019-10-09 21:23:24,120 [*] MainThread Get:4
 2019-10-09 21:23:24,120 [*] MainThread Get:1
 2019-10-09 21:23:24,120 [*] MainThread Get:3
总用时 3.0080056190490723
迷心兔
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【进阶】 --- 多线程、多进程、异步IO实用例子
墨鱼菜鸡
07-11 1024
【进阶】 --- 多线程、多进程、异步IO实用例子：https://blog.csdn.net/lu8000/article/details/82315576 python之爬虫_并发(串行、多线程、多进程、异步IO)：https://www.cnblogs.com/fat39/archive/2004/01/13/9044474.html Pyth...
python多线程和多进程curr_如何在django视图中使用asyncio（协程）和ThreadPoolExecutor(多线程)...
weixin_29162439的博客
02-10 1148
Django视图函数执行，不在主线程中，直接loop = asyncio.new_event_loop() # 更不能loop = asyncio.get_event_loop()会触发RuntimeError: There is no current event loop in thread因为asyncio程序中的每个线程都有自己的事件循环，但它只会在主线程中为你自动创建一个事件循环。所以如...
Python的协程异步IO（asyncio）详解
创作不易，请多支持，将为本站提供更多「有价值的文章」。
09-19 8295
协程不是系统级线程，很多时候协程被称为“轻量级线程”、“微线程”、“纤程(fiber)”等。简单来说可以认为协程是线程里不同的函数，这些函数之间可以相互快速切换。协程和用户态线程非常接近，用户态线程之间的切换不需要陷入内核，但部分操作系统中用户态线程的切换需要内核态线程的辅助。协程是编程语言（或者 lib）提供的特性（协程之间的切换方式与过程可以由编程人员确定），是用户态操作。协程适用于 IO 密集型的任务。
【进阶】 --- 多线程、多进程、异步IO 实用例子
freeking101的博客
11-13 1674
在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。以下代码默认运行环境为 python3。 目录 一、多线程、多进程 1.同步执行 2.多线程执行 3.多线程+回调函数执行 4.多进程执行 5.多进程+回调函数执行 二、异步 1.asyncio示例1 asyncio示例2 2.asyncio + aiohttp 3.asyncio + request...
【12.4】ThreadPollExecutor和asyncio完成阻塞io请求
weixin_30570101的博客
08-18 103
1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # 使用多线程：在协程中集成阻塞io 4 import asyncio 5 import socket 6 import time 7 from urllib.parse import urlparse 8 from concurrent.futures...
Python 高级编程和异步IO并发编程 --13_5 ThreadPoolExecutor 和asyncio完成阻塞io请求
我思故我在！
04-09 321
# 使用多线程：在协程中集成阻塞io import asyncio import socket import time from urllib.parse import urlparse from concurrent.futures import ThreadPoolExecutor def get_url(url): # 通过socket请求html url = urlp...
python 协程加多线程下载asyncio、ThreadPoolExecutor
wulong710的专栏
11-01 1043
使用协程同时下载多文件，碰到阻塞函数则无法同时下载多文件，结合多线程处理。 # coding=utf-8 import asyncio import os import requests from concurrent.futures import ThreadPoolExecutor gPool = ThreadPoolExecutor(5) async def downOne(loop, url): name = os.path.basename(url) print("do
asyncio和ProcessPoolExecutor
weixin_45166664的博客
02-02 117
【代码】asyncio和ProcessPoolExecutor。
java ThreadPoolExecutor 并发调用实例详解
08-30
java ThreadPoolExecutor 并发调用实例详解 java 中的并发编程是指在多个线程中执行多个任务，以提高程序的执行效率。在 Java 中，有多种方式可以实现并发编程，包括使用 Thread、Runnable、Callable、Future、...
线程池ThreadPoolExecutor使用简介与方法实例
08-26
线程池ThreadPoolExecutor使用简介与方法实例 线程池ThreadPoolExecutor是Java并发编程中一个非常重要的概念，它允许开发者将任务提交给线程池，并由线程池来管理这些任务的执行。今天，我们将对线程池...
Java线程池ThreadPoolExecutor原理及使用实例
08-19
Java线程池ThreadPoolExecutor原理及使用实例 Java线程池ThreadPoolExecutor是Java并发编程中的一种基本机制，主要用于管理和执行任务的线程池。下面对其原理和使用实例进行详细介绍。 线程池概述 线程池是一个...
Django如何使用asyncio协程和ThreadPoolExecutor多线程
12-16
这时，可以使用`loop.run_in_executor()`配合`ThreadPoolExecutor`。`ThreadPoolExecutor`是一个线程池，用于并发执行可调用对象。以下是如何使用它的示例： ```python from concurrent.futures import ...
Python并发concurrent.futures和asyncio实例
09-16
本文将深入探讨Python标准库中的concurrent.futures模块以及从Python 3.4版本开始引入的asyncio包，这两个工具都是用于实现高效的并发执行。 首先，concurrent.futures模块提供了ThreadPoolExecutor和...
Python并发concurrent.futures和asyncio
leason的博客
11-13 3983
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始，标准库为我们提供了concurrent.futures模块，concurrent.futures 模块的主要特色是 ThreadPoolExecutor 和 ProcessPoolExecutor 类，这两个类实现的接口能分别在不同的线程或进程中执行可调
asyncio run_in_executor与线程池配合
迷心兔的博客
10-09 7812
# 使用多线程：在协程中集成阻塞io import asyncio from concurrent.futures import ThreadPoolExecutor import socket from urllib.parse import urlparse def get_url(url): # 通过socket请求html url = urlparse(url) ...
python ThreadPoolExecutor 多线程踩坑之旅
热门推荐
一个CD包的博客
08-10 1万+
背景 最近做了套接口测试系统，后台定时任务会批量去跑测试用例，用的是多线程，以前多线程模块用的是自己封装的包，但因为一些原因近期替换成了python标准库中的ThreadPoolExecutor，于是问题开始了…… 项目用的是：Flask + Flask-SQLAlchemy + Flask-APScheduler 问题描述 定时任务运行时大约有20%的概率会出现问题一与问题二 问题一 py...
Executor并发框架——ThreadPoolExecutor
shengpli′s blog
01-27 467
一、介绍 　ThreadPoolExecutor为ExecutorService的默认实现。自定义线程池，可以用ThreadPoolExecutor类创建，它有多个构造方法来创建线程池。 public class ThreadPoolExecutor extends AbstractExecutorService { ..... public ThreadPoolExecuto
基于豪猪优化算法CPO-VMD实现信号去噪目标函数为包络信息熵 包络熵 排列熵 样本熵最小附matlab代码.rar
最新发布
07-19
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
new ThreadPoolExecutor DiscardPolicy 实例
05-16
下面是一个使用 `ThreadPoolExecutor` 和 `DiscardPolicy` 的示例： ```java import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; public class ThreadPoolExecutorDemo { public static void main(String[] args) { // 创建一个核心线程数为 2，最大线程数为 4，任务队列容量为 2 的线程池 ThreadPoolExecutor executor = new ThreadPoolExecutor(2, 4, 0L, TimeUnit.MILLISECONDS, new MyQueue<>(2), new ThreadPoolExecutor.DiscardPolicy()); // 提交 6 个任务，其中前 4 个任务会被执行，后 2 个任务会被丢弃 for (int i = 1; i <= 6; i++) { executor.submit(new MyTask(i)); } executor.shutdown(); } static class MyTask implements Runnable { private int taskId; MyTask(int taskId) { this.taskId = taskId; } @Override public void run() { System.out.println("Task #" + taskId + " is running on " + Thread.currentThread().getName()); try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } System.out.println("Task #" + taskId + " is completed."); } } static class MyQueue<E> extends java.util.concurrent.LinkedBlockingQueue<E> { MyQueue(int capacity) { super(capacity); } @Override public boolean offer(E e) { // 如果队列已满，则直接丢弃新任务 return super.offer(e) || remove(size() - 1); } } } ``` 在上面的示例中，我们创建了一个核心线程数为 2，最大线程数为 4，任务队列容量为 2 的线程池，并设置拒绝策略为 `DiscardPolicy`。 我们提交了 6 个任务，其中前 4 个任务会被执行，后 2 个任务会被丢弃。这是因为任务队列容量为 2，当任务队列已满时，会创建新的线程执行任务，但是最大线程数为 4，此时已经有 2 个线程在运行，因此只能创建 2 个新的线程，而新的任务又有 2 个，因此后面的 2 个任务没有办法被执行，而是被丢弃了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值