python内存持续增长_使用Python的内存使用量持续增长过大多处理.pool.imap

我试图用Python进行一些昂贵的科学计算。我已经将一个数据集读入一个包含18个元素的列表(数据列表)，每个元素也是一个包含1500000整数的列表。

现在，我想在列表中的每对数据之间进行一些计算(data_list)。因为每个进程都需要很长时间，而且我有8个处理器要使用，所以我尝试使用multi processing中的Pool方法。在def calc_func(args):

# do some calculation, and return result and score

# len(_res) == 1500000

return _res, score

count = len(data_list)

pairs = [(i, j, data_list[i], data_list[j]) for i in range(0, count - 1) for j in range(i + 1, count)]

chunk_size, extra = divmod(len(pairs), 4 * 8)

if extra:

chunk_size += 1

pool = Pool(8)

res = pool.imap(calc_func, pairs, chunksize=chunk_size)

pool.close()

pool.join()

然后，我将结果列表按分数排序，并将第一个结果追加到数据列表中。在

^{pr2}$

然后，在数据列表中对刚刚追加的一个与另一个进行计算，并将计算结果中的第一个追加到按得分排序的数据表。这个过程需要重复60次。在loop = 0

while loop <&#