python代码运行到一半终止_python多处理。池终止*特定*长时间运行或挂起的进程...

我需要执行一个包含许多并行数据库连接和查询的池。我想使用多处理.Pool或concurrent.futures ProcessPoolExecutor。Python2.7.5

在某些情况下，查询请求耗时太长或永远无法完成(挂起/僵尸进程)。我想从已超时的multiprocessing.Pool或concurrent.futures ProcessPoolExecutor中终止特定的进程。

下面是一个如何终止/重新生成整个进程池的示例，但理想情况下，我会尽量减少CPU抖动，因为我只想终止一个特定的长时间运行的进程，该进程在超时秒后没有返回数据。

由于某些原因，在返回并完成所有结果后，下面的代码似乎无法终止/加入进程池。这可能与超时时终止工作进程有关，但是池在终止新的工作进程时创建新的工作进程，并且结果与预期一致。from multiprocessing import Pool

import time

import numpy as np

from threading import Timer

import thread, time, sys

def f(x):

time.sleep(x)

return x

if __name__ == '__main__':

pool = Pool(processes=4, maxtasksperchild=4)

results = [(x, pool.apply_async(f, (x,))) for x in np.random.randint(10, size=10).tolist()]

while results:

try:

x, result = results.pop(0)

start = time.time()

print result.get(timeout=5), '%d done in %f Seconds!' % (x, time.time()-start)

except Exception as e:

print str(e)

print '%d Timeout Exception! in %f' % (x, time.time()-start)

for p in pool._pool:

if p.exitcode is None:

p.terminate()

pool.terminate()

pool.join()