python读取行、分割、存储_Pytables / Pandas：组合（读取？）按行分割的多个HDF5存储...

在“一次编写，多次读取”工作流程中，我经常使用FastExport实用程序解析从Teradata转储的大型文本文件(20GB-60GB)，并使用Pandas将它们加载到Pytables中 . 我正在使用多处理来分块文本文件并将它们分发到不同的进程，以便根据每行大约5MM的行数来编写.H5文件，以支持并行写入 . 对于并行编写多个hdf5文件大约12分钟这相当快，相比之下，为25MM行x64列编写单个hdf5文件需要22分钟 .

%timeit -n 1 write_single_hdf_multiprocess()

1 loops, best of 3: 22min 42s per loop

%timeit -n 1 write_multiple_hdf_multiprocess()

1 loops, best of 3: 12min 12s per loop

对于按行分割多个h5文件的情况，我最终会有多个文件具有相同的结构，我希望在单个h5file根/ data / table中组合

要测试组合功能，以下是代码段：

import tables as tb

import pandas as pd

tb.setBloscMaxThreads(15)

store =pd.HDFStore('temp15.h5',complib='blosc')

filenames=['part_1.h5','part_2.h5','part_3.h5','part_4.h5','part_5.h5']

for f in filenames:

s=pd.HDFStore(f)

df=s.select('data')

store.append(key='data',value=df,format='t',chunksize=200000)

store.close()

这是％timeit结果：

1 loops, best of 3: 8min 22s per loop

这基本上占用了我通过并行编写多个h5文件获得的大部分时间 . 我有两个问题：

有没有办法更有效地组合(追加)具有相同表格格式的h5文件？(SQL联盟就像功能一样) . 我试过this SO但是无法让它附加表格 .

如果没有，在大多数查询从所有列的位置中选择时，在行上拆分是否合理？我正在考虑编写一个map / combine函数，它将查看表的所有部分，以便从查询中进行选择 . Pandas select_as_multiple()函数执行此操作以基于列进行拆分 .

Update Based on Jeff's Suggestions:

在合并前文件写入过程中删除索引和压缩的很棒的调用 . 删除索引，压缩并将每个预合并文件的最大行数设置为1MM行：

%timeit -n 1 write_multiple_hdf_multiprocess()

1 loops, best of 3: 9min 37s per loop

这比以前快2分多一点，速度和解析数据的速度差不多 . 将数据列设置为所需的字段后(在我的情况下为3)：

for f in filenames:

s=pd.HDFStore(f)

df=s.select('data')

dc=df.columns[1:4]

store.append(key='data',value=df,format='t',data_columns=dc)

这比以前慢了大约2分钟： 1 loops, best of 3: 10min 23s per loop . 从上面的代码中删除压缩后，我得到 1 loops, best of 3: 8min 48s per loop (几乎与第一次尝试压缩而没有数据列索引相同) . 为了让您了解压缩的效果，未压缩存储大约为13.5GB，而使用 blosc 的压缩版本大约为3.7GB .

总之，我的进程需要 18 minutes 15 seconds 来创建一个合并的未压缩的hdf5文件 . 与单个文件写入(压缩)相比，这个速度大约为 4 minutes 7 seconds .

这让我想到了我的问题的第二部分，如果我不合并文件并使用合并前文件以 Map /组合方式处理，那么这可能是一种合理的方法吗？我应该如何考虑实施这个？

对于完整的披露，我在Pandas版本 0.12.0 ，Pytables版本 3.0.0 和我的数据处理工作流程如下(伪代码)：

def generate_chunks_from_text_file(reader,chunksize=50000):

""" generator that yields processed text chunks """

for i, line in enumerate(reader.readlines()):

----process data and yield chunk -----

def data_reader(reader,queue):

""" read data from file and put it into a queue for multiprocessing """

for chunk in self.generate_chunks_from_text_file(reader):

queue.put(chunk) # put data in the queue for the writer

def data_processor(queue,filename,dtype,min_size):

"""" subprocess that reads the next value in the queue and writes hdf store. """

store=pd.HDFStore(filename)

while True:

results = queue.get()

array=np.array(results,dtype=dt) # convert to numpy array

df = pd.DataFrame(array) #covert to pandas array

store.append(key='data', value=df, format='t', min_itemsize=dict(min_size), data_columns=[],index=False)

store.close()

----when queue exhausts - break-----