python多进程map_Python多进程.Pool.map无法处理大型数组。

这是我用来在熊猫.DataFrame对象：from multiprocessing import cpu_count, Pool

from functools import partial

def parallel_applymap_df(df: DataFrame, func, num_cores=cpu_count(),**kargs):

partitions = np.linspace(0, len(df), num_cores + 1, dtype=np.int64)

df_split = [df.iloc[partitions[i]:partitions[i + 1]] for i in range(num_cores)]

pool = Pool(num_cores)

series = pd.concat(pool.map(partial(apply_wrapper, func=func, **kargs), df_split))

pool.close()

pool.join()

return series

它适用于20万行的子样本，但是当我尝试完整的2000000个示例时，我得到以下错误消息：

^{pr2}$

由行生成：series = pd.concat(pool.map(partial(apply_wrapper, func=func, **kargs), df_split))

这很奇怪，因为我用一个稍微不同的版本来并行pandas中没有向量化的操作(比如系列时间)在相同数量的行上工作。这是exampes作品的版本：def parallel_map_df(df: DataFrame, func, num_cores=cpu_count()):

partitions = np.linspace(0, len(df), num_cores + 1, dtype=np.int64)

df_split = [df.iloc[partitions[i]:partitions[i + 1]] for i in range(num_cores)]

pool = Pool(num_cores)

df = pd.concat(pool.map(func, df_split))

pool.close()

pool.join()

return df