pool python 传参数_python多处理.pool.map,向派生进程传递参数

这些评论越来越难以理解,所以我把我的重要评论粘贴在这里:

在Linux-y系统上,新进程是由fork()创建的,因此在创建它们时获取整个父进程地址空间的副本。它是“写时拷贝”,所以它更像是“虚拟”拷贝而不是“真实”拷贝,但仍然。。。;—)首先,尝试在创建巨大的数据结构之前创建Pool。然后子进程将继承更小的地址空间。在

然后回答一些问题:so in python 2.7, there is no way to spawn a new process?

在Linux-y系统上,没有。在那些系统上使用“spawn”的功能是在python3.4中首次添加的。在Windows系统上,“spawn”一直是唯一的选择(在Windows上不是fork())。在The big dictionary is passed in to a function as an argument and I

could only create the pool inside this function. How would I be able

to create the pool before the big dictionary

简单到这样:将这两行作为程序的前两行:import multiprocessing

pool = multiprocessing.Pool()

您可以随时创建池(只要它在实际使用之前存在于某个时间),工作进程将在调用Pool构造函数时继承整个地址空间。在

另一个建议

如果您在dict创建后没有对其进行突变,请尝试使用以下方法:

^{pr2}$

这样你就不必去实现一个庞大的钥匙组。或者,更好的方法是(如果可能的话),跳过所有这些,直接在这些项上迭代:for result in pool.imap_unordered(func_process_application, very_large_dict.iteritems()):

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 在 Python 中,使用 `multiprocessing.Pool()` 中的 `apply_async()` 方法可以异步提交进程池任务,并使用队列传递任务结果。 下面是一个使用队列传递返回值的示例代码: ```python import multiprocessing def worker(num, q): """子进程要执行的任务""" result = num * 2 q.put(result) # 将结果放入队列中 if __name__ == '__main__': # 创建队列和进程池 q = multiprocessing.Queue() pool = multiprocessing.Pool() # 提交任务到进程池中 for i in range(5): pool.apply_async(worker, args=(i, q)) # 关闭进程pool.close() # 等待所有进程完成任务 pool.join() # 从队列中获取结果 results = [] while not q.empty(): results.append(q.get()) # 输出结果 print(results) ``` 在这个示例中,首先创建了一个队列 `q` 和一个进程池 `pool`。然后,使用 `apply_async()` 方法向进程池提交任务,每个任务都会调用 `worker()` 函,将计算结果放入队列中。在提交完所有任务后,关闭进程池并等待所有进程完成任务。最后,从队列中获取结果并输出。 需要注意的是,`apply_async()` 方法返回的是一个 `AsyncResult` 对象,可以使用 `get()` 方法获取任务的结果。但是,如果直接使用 `get()` 方法阻塞等待任务完成并获取结果,那么这种方式就是同步的了。因此,我们可以使用队列来异步获取结果,这样可以避免阻塞等待任务完成。 ### 回答2: 在使用`python pool.apply_async()`时,可以通过队列传递函的返回值。 `pool.apply_async()`函用于提交进程池中的可调用对象,并返回一个结果对象。通过该结果对象,可以获取可调用对象执行的结果。 为了实现使用队列传递返回值,我们可以先创建一个`multiprocessing.Manager()`对象,然后使用该对象的`Queue()`函创建一个队列对象。 接下来,在调用`pool.apply_async()`时,将队列对象作为参传递给可调用对象,使得可调用对象能够将返回值放入队列中。 然后,在主进程中,可以在需要的地方使用`queue.get()`方法从队列中获取返回值。该方法会阻塞主进程,直到队列中有可获取的返回值。 下面是一个示例代码: ```python import multiprocessing def my_func(queue): result = 10 # 假设计算得到的结果为10 queue.put(result) if __name__ == '__main__': manager = multiprocessing.Manager() queue = manager.Queue() pool = multiprocessing.Pool(processes=4) pool.apply_async(my_func, args=(queue,)) # 在需要的地方获取返回值 result = queue.get() print("结果:", result) ``` 在上述示例中,我们使用了`multiprocessing.Pool()`创建了一个进程池,并使用`pool.apply_async()`提交了可调用对象`my_func`。在`my_func`中,我们将计算得到的结果放入了队列`queue`中。 在主进程中,我们使用`queue.get()`阻塞主进程,并等待队列中的返回值。然后,将返回值打印出来。 这样就实现了通过队列传递返回值的功能。 ### 回答3: 在使用Python中的multiprocessing模块中的pool.apply_async方法时,我们可以通过队列来传递返回值。 pool.apply_async方法可以将函异步地提交给进程池进行处理,并返回一个AsyncResult对象,该对象可以用于获取函的返回值。 为了获取函的返回值,我们可以创建一个队列,并将其作为参传递给pool.apply_async方法。具体操作如下: 1. 导入multiprocessing模块中的Pool和Queue类: ``` from multiprocessing import Pool, Queue ``` 2. 创建一个队列对象: ``` result_queue = Queue() ``` 3. 定义一个函,该函将需要处理的任务作为参,并使用队列将返回值传递出去: ``` def process_task(task): # 执行任务处理操作 # ... # 将返回值放入队列中 result_queue.put(result) ``` 4. 创建进程池对象: ``` pool = Pool() ``` 5. 提交任务给进程池进行处理,并获取AsyncResult对象: ``` async_result = pool.apply_async(process_task, (task,)) ``` 6. 从队列中获取函的返回值: ``` result = result_queue.get() ``` 在上述代码中,我们首先创建了一个队列对象result_queue。然后,定义了一个处理任务的函process_task,并将返回值放入队列中。接下来,创建了一个进程池对象pool,并使用apply_async方法提交任务给进程池。最后,从队列中获取函的返回值result。 通过使用队列传递返回值,我们可以在多进程处理的情况下,方便地获取函的结果并进行后续操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值