python分块处理功能_python – Pandas和多处理内存管理：将DataFrame拆分为多个块...

我必须逐行处理一个庞大的pandas.DataFrame(几十GB),其中每行操作都很长(几十毫秒).所以我有了将框架拆分成块并使用多处理并行处理每个块的想法.这确实加快了任务,但内存消耗是一场噩梦.

虽然每个子进程原则上只占用一小部分数据,但它需要(几乎)与包含原始DataFrame的原始父进程一样多的内存.即使删除父进程中使用过的部分也无济于事.

我写了一个复制这种行为的最小例子.它唯一能做的就是创建一个带有随机数的大型DataFrame,将其分成最多100行的小块,并在多处理期间简单地打印一些有关DataFrame的信息(这里通过大小为4的mp.Pool).

并行执行的主要功能：

def just_wait_and_print_len_and_idx(df):

"""Waits for 5 seconds and prints df length and first and last index"""

# Extract some info

idx_values = df.index.values

first_idx,last_idx = idx_values[0],idx_values[-1]

length = len(df)

pid = os.getpid()

# Waste some CPU cycles

time.sleep(1)

# Print the info

print('First idx {},last idx {} and len {} '

'from process {}'.format(first_idx,last_idx,length,pid))

帮助生成器将DataFrame分块为小块：

def df_chunking(df,chunksize):

"""Splits df into