多进程Pool.apply_async的返回问题

最新推荐文章于 2024-05-31 17:12:32 发布
最新推荐文章于 2024-05-31 17:12:32 发布
阅读量1.7w 收藏 15
点赞数 8
分类专栏： python 文章标签： Pool 多进程 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43082300/article/details/86635199
版权 
ip1 = pool.apply_async(check_proxy,(ip,))
        print(ip1)

代码如上，打印出来的结果是这堆东西
<multiprocessing.pool.ApplyResult object at 0x000000000417AE48>
<multiprocessing.pool.ApplyResult object at 0x000000000417AEF0>
<multiprocessing.pool.ApplyResult object at 0x000000000417AF98>
<multiprocessing.pool.ApplyResult object at 0x0000000004182080>
<multiprocessing.pool.ApplyResult object at 0x0000000004182128>
<multiprocessing.pool.ApplyResult object at 0x00000000041821D0>
<multiprocessing.pool.ApplyResult object at 0x0000000004182278>

解决办法：
tips:pool.apply_async() 这方法返回的是结果是值的对象，不是值本身，所以要加get()方法

ip1 = pool.apply_async(check_proxy,(ip,)).get()

返回正常了

身穿格子套拖孩
关注
  • 8
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
一文看懂Python多进程与多线程编程(工作学习面试必读)
大江狗
10-10 9804
进程(process)和线程(thread)是非常抽象的概念, 也是程序员必需掌握的核心知识。多进程和多线程编程对于代码的并发执行，提升代码效率和缩短运行时间至关重要。小编我今天就来尝试下用一文总结下Python多进程和多线程的概念和区别, 并详细介绍如何使用python的multiprocess和threading模块进行多线程和多进程编程。   重要知识点 - 什么是进程(proces...
python学习笔记——multiprocessing 多进程组件 进程池Pool
weixin_34400525的博客
03-22 461
1 进程池Pool基本概述 在使用Python进行系统管理时，特别是同时操作多个文件目录或者远程控制多台主机，并行操作可以节约大量时间，如果操作的对象数目不大时，还可以直接适用Process类动态生成多个进程，几十个尚可，若上百个甚至更多时，手动限制进程数量就显得特别繁琐，此时进程池就显得尤为重要。 进程池Pool类可以提供指定数量的进程供用户调用，当有新的请求提交至Pool中时，若进程池尚未...
【Python】解决Python报错：AttributeError: ‘int‘ object has no attribute ‘xxx‘
最新发布
科技改变人类，技术成就未来
05-31 916
解决Python报错：AttributeError: 'int' object has no attribute 'xxx'
进程池Pool的操作
weixin_45924267的博客
05-09 1271
Python 提供了更好的管理多个进程的方式，就是使用进程池。进程池可以提供指定数量的进程给用户使用，即当 有新的请求提交到进程池中时，如果池未满，则会创建一个新的进程用来执行该请求；反之，如果池中的进程数已 经达到规定最大值，那么该请求就会等待，只要池中有进程空闲下来，该请求就能得到执行。 使用进程池的优点 提高效率，节省开辟进程和开辟内存空间的时间及销毁进程的时间 节省内存空间 Pool中的函数说明： Pool(12)：创建多个进程，表示可以同时执行的进程数量。默认大小是CPU的核心数果。.
multiprocessing.Pool 进程池
qq_42636010的博客
09-17 1163
进程池就是维持一定量的进程，当有任务时调用进程处理，没有任务时进程空闲，当任务过多时就会等有空闲进程后再进行处理。 进程池有几个函数 apply() 执行一个任务，会阻塞当前进程 apply_async() 执行一个任务，不会阻塞当前进程 apply会返回执行函数的结果，但是apply_async不会等待结果而是直接返回一个multiprocessing.pool.ApplyResult ob...
python多进程中apply和apply_async用法详解
IT之一小佬的博客
09-14 1万+
python多进程使用apply_async用法详解
python进阶学习笔记(5)
weixin_47274990的博客
03-11 3119
python进阶学习笔记5一、多任务-线程1、介绍2、线程的基本使用3、使用threading模块创建子进程4、线程的名称及总数量5、线参数及顺序6、守护线程7、并行和并发 一、多任务-线程 1、介绍 多任务：同一时间，多个任务同时执行 windows是多任务，python默认是单任务 2、线程的基本使用 线程是被系统独立调度和分派的基本单位 主线程： 当一个程序启动时，就有一个进程被操作系统创建，于此同时一个线程也立刻运行，这就叫做程序的主线程。 程序启动就会创建一个主线程 主线程的作用:
Pool实现多进程并行
baidu_18891025的博客
04-28 794
Pool 模块来自于 multiprocessing 模块。 multiprocessing 模块是跨平台版本的多进程模块，像线程一样管理进程，与 threading 很相似，对多核CPU的利用率会比 threading 好的多。Pool 类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池...
Python多进程multiprocessing.Pool类详解
09-20
2. `apply_async(func, args=(), kwds={}, callback=None)`: 这个方法是非阻塞的，可以立即返回，让Pool在后台执行任务。如果提供了`callback`参数，任务完成后会调用这个回调函数。 3. `map(func, iterable[, chunk...
Python多进程例子代码.zip_Python多进程例子代码_py代码过长_py多进程
07-15
`Pool`类是`multiprocessing`模块提供的进程池，它可以一次性创建多个进程，并通过`apply_async`或`map`等方法分配任务给这些进程。 例如，如果我们有一个函数`long_running_task(input)`，想要并行处理一个包含多...
Python multiprocess pool模块报错pickling error问题解决方法分析
01-20
本文实例讲述了Python multiprocess pool模块报错pickling error问题解决方法。分享给大家供大家参考，具体如下： 问题 之前在调用class内的函数用multiprocessing模块的pool函数进行多线程处理的时候报了以下下错误...
Python多进程池 multiprocessing Pool用法示例
09-20
Python的`multiprocessing`库是实现多进程编程的重要工具，其中`Pool`类提供了一种高效的方式来管理和控制多个进程。本文将深入探讨`multiprocessing.Pool`的使用方法、原理以及如何在实际应用中发挥它的优势。 1. ...
Python 多进程并发操作中进程池Pool的实例
09-21
`multiprocessing.Pool`提供的`apply_async`方法是非阻塞的，这意味着主进程不会等待任务完成，而是立即返回并继续执行下一行代码。这使得我们可以同时处理大量任务，而无需等待每一个任务的完成。 此外，`...
一个列表是否是其他列表的子列表：is_Sublist
扣扣
09-27 325
废话不多说，直接上代码 def is_Sublist(list_parent, list_child): flag = False if list_child == [] or list_child == list_parent: flag = True elif len(list_child) > len(list_parent): sub_set = False else: for i in range(len(lis
Python获取多进程执行的返回值
FinixLei的专栏 (https://github.com/FinixLei)
03-03 7926
Python获取多进程执行的返回值
python 进程池Pool的apply_async方法以及一些需要注意的地方
weixin_30509393的博客
11-05 2292
在写多进程的时候我发现一个问题，用Pool的apply_async（异步非阻塞）的时候传入实例函数会出错，或者说是子进程被跳过似的感觉（python2.7）。 但是用python3.7的话没有任何问题。 code： # -*- coding:utf-8 -*- import multiprocessing import os import time clas...
python apply_async函数_python进程池Pool的apply与apply_async到底怎么用？
weixin_39673601的博客
12-16 492
背景最近在解决问题的时候遇到了上下文冲突的问题，不得不用多进程来解决这个问题。这个问题是StackOverflow没有完整答案的问题，下一篇博客进行介绍。多进程python中使用multiprocessing模块实现多进程。multiprocessing模块提供了一个Process类来代表一个进程对象，这个模块表示像线程一样管理进程，是multiprocessing的核心，它与threading很...
多进程如何获取进程的返回值？用get函数，apply_async()
热门推荐
u013176681的专栏
08-17 2万+
原帖由 项俊杰 于 2017-7-7 11:35 发表  目前用的是跑两个子进程，子进程的函数是无限循环，但是跑了半个小时发现其中一个子进程跑成zombie了，所以打算把子进程的函数设置成返回值的，然后在主进程里判断返回值  执行完了就 再重开。 但是看了下p.start()后 好像是 ... 建议用Pool来完成。代码类似于： 复制内容到剪贴板 代码: from mult
python pool.apply_async用队列传返回值
08-11
### 回答1： 在 Python 中，使用 `multiprocessing.Pool()` 中的 `apply_async()` 方法可以异步提交进程池任务，并使用队列传递任务结果。 下面是一个使用队列传递返回值的示例代码： ```python import multiprocessing def worker(num, q): """子进程要执行的任务""" result = num * 2 q.put(result) # 将结果放入队列中 if __name__ == '__main__': # 创建队列和进程池 q = multiprocessing.Queue() pool = multiprocessing.Pool() # 提交任务到进程池中 for i in range(5): pool.apply_async(worker, args=(i, q)) # 关闭进程池 pool.close() # 等待所有进程完成任务 pool.join() # 从队列中获取结果 results = [] while not q.empty(): results.append(q.get()) # 输出结果 print(results) ``` 在这个示例中，首先创建了一个队列 `q` 和一个进程池 `pool`。然后，使用 `apply_async()` 方法向进程池提交任务，每个任务都会调用 `worker()` 函数，将计算结果放入队列中。在提交完所有任务后，关闭进程池并等待所有进程完成任务。最后，从队列中获取结果并输出。 需要注意的是，`apply_async()` 方法返回的是一个 `AsyncResult` 对象，可以使用 `get()` 方法获取任务的结果。但是，如果直接使用 `get()` 方法阻塞等待任务完成并获取结果，那么这种方式就是同步的了。因此，我们可以使用队列来异步获取结果，这样可以避免阻塞等待任务完成。 ### 回答2： 在使用`python pool.apply_async()`时，可以通过队列传递函数的返回值。 `pool.apply_async()`函数用于提交进程池中的可调用对象，并返回一个结果对象。通过该结果对象，可以获取可调用对象执行的结果。 为了实现使用队列传递返回值，我们可以先创建一个`multiprocessing.Manager()`对象，然后使用该对象的`Queue()`函数创建一个队列对象。 接下来，在调用`pool.apply_async()`时，将队列对象作为参数传递给可调用对象，使得可调用对象能够将返回值放入队列中。 然后，在主进程中，可以在需要的地方使用`queue.get()`方法从队列中获取返回值。该方法会阻塞主进程，直到队列中有可获取的返回值。 下面是一个示例代码： ```python import multiprocessing def my_func(queue): result = 10 # 假设计算得到的结果为10 queue.put(result) if __name__ == '__main__': manager = multiprocessing.Manager() queue = manager.Queue() pool = multiprocessing.Pool(processes=4) pool.apply_async(my_func, args=(queue,)) # 在需要的地方获取返回值 result = queue.get() print("结果：", result) ``` 在上述示例中，我们使用了`multiprocessing.Pool()`创建了一个进程池，并使用`pool.apply_async()`提交了可调用对象`my_func`。在`my_func`中，我们将计算得到的结果放入了队列`queue`中。 在主进程中，我们使用`queue.get()`阻塞主进程，并等待队列中的返回值。然后，将返回值打印出来。 这样就实现了通过队列传递返回值的功能。 ### 回答3： 在使用Python中的multiprocessing模块中的pool.apply_async方法时，我们可以通过队列来传递返回值。 pool.apply_async方法可以将函数异步地提交给进程池进行处理，并返回一个AsyncResult对象，该对象可以用于获取函数的返回值。 为了获取函数的返回值，我们可以创建一个队列，并将其作为参数传递给pool.apply_async方法。具体操作如下： 1. 导入multiprocessing模块中的Pool和Queue类： ``` from multiprocessing import Pool, Queue ``` 2. 创建一个队列对象： ``` result_queue = Queue() ``` 3. 定义一个函数，该函数将需要处理的任务作为参数，并使用队列将返回值传递出去： ``` def process_task(task): # 执行任务处理操作 # ... # 将返回值放入队列中 result_queue.put(result) ``` 4. 创建进程池对象： ``` pool = Pool() ``` 5. 提交任务给进程池进行处理，并获取AsyncResult对象： ``` async_result = pool.apply_async(process_task, (task,)) ``` 6. 从队列中获取函数的返回值： ``` result = result_queue.get() ``` 在上述代码中，我们首先创建了一个队列对象result_queue。然后，定义了一个处理任务的函数process_task，并将返回值放入队列中。接下来，创建了一个进程池对象pool，并使用apply_async方法提交任务给进程池。最后，从队列中获取函数的返回值result。 通过使用队列传递返回值，我们可以在多进程处理的情况下，方便地获取函数的结果并进行后续操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值