用pandas读写HDF5文件

hdf5简介

HDF5是一种专门用于存储表格数据阵列的高性能存储格式。Pandas的HDFStore类可以将DataFrame存储在HDF5文件中，以便可以有效地访问它，同时仍保留列类型和其他元数据。 它是一个类似字典的类，因此您可以像读取Python dict对象一样进行读写。

HDF5支持压缩存储，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。 使用压缩可以节省空间。开启压缩也没有什么劣势，只会慢一点点。
压缩在小数据量的时候优势不明显，数据量大了才有优势。同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了。

HDFStore常用方法

• 读取文件，支持压缩存储

# Read from the store, close it if we opened it.
read_hdf(path_or_buf[, key, mode])	

• 往HDF中添加一张数据表, 以key作为索引

# Store object in HDFStore
HDFStore.put(self, key, value[, format, append])	

• 将数据附加到现有的表中

# Append to Table in file.
HDFStore.append(self, key, value[, format, …])

• 根据键提取数据,返回dataframe

# Retrieve pandas object stored in file
HDFStore.get(self, key)	

• 根据条件筛选数据

# Retrieve pandas - object stored in file, optionally based on where criteria
HDFStore.select(self, key[, where, start, …])	

• 查看HDF存储的信息

# Print detailed information on the store.
- HDFStore.info(self)	

• 查看HDF所有的键

# Return a (potentially unordered) list of the keys corresponding to the objects stored in the HDFStore.
HDFStore.keys(self)	

• HDFStore.groups(self) return a list of all the top-level nodes (that are not themselves a pandas storage object)
• HDFStore.walk(self[, where])

例子

import numpy as np
import pandas as pd

# 打开一个hdf文件
hdf = pd.HDFStore('test.hdf','w')
df1 = pd.DataFrame(np.random.standard_normal((3,2)), columns=['A','B'])
df2 = pd.DataFrame(np.random.standard_normal((3,2)), columns=['A','B'])
hdf.put(key='key1', value=df1, format='table', data_columns=True)
hdf.put(key='key2', value=df2, format='table', data_columns=True)

print(hdf.info())

<class 'pandas.io.pytables.HDFStore'>
File path: test.hdf
/key1            frame        (shape->[3,2])
/key2            frame        (shape->[3,2])

print(hdf.keys())

['/key1', '/key2']

print(hdf.get('key1')) # equal to hdf['key1']
print(hdf.get('key2')) # equal to hdf['key2']

          A         B    
0  0.257239  1.684300 
1  0.076235 -0.071744 
2 -0.266105 -0.874081

          A         B   
0  1.178982 -0.517734
1  0.713010 -0.484248 
2  0.741703 -0.650327 

# append df2 to the dataset of key1
hdf.append(key='key1', value=df2, format='table', data_columns=True)
print(hdf.get('key1')

          A         B    
0  0.257239  1.684300 
1  0.076235 -0.071744 
2 -0.266105 -0.874081
0  1.178982 -0.517734
1  0.713010 -0.484248 
2  0.741703 -0.650327 

使用压缩格式存储

large_data = pd.DataFrame(np.random.standard_normal((90000000,4)))
# 普通格式存储：
hdf1 = pd.HDFStore('test1.h5','w')
hdf1.put(key='data', value=large_data)
hdf1.close()
# 压缩格式存储
hdf2 = pd.HDFStore('test2.h5','w', complevel=4, complib='blosc')
hdf2.put(key='data', value=large_data)
hdf2.close()

从结果上看,test2.h5比test1.h5小了700mb，节省了存储空间。

reference:

https://glowingpython.blogspot.com/2014/08/quick-hdf5-with-pandas.html
https://pandas.pydata.org/pandas-docs/stable/reference/io.html#hdfstore-pytables-hdf5
https://realpython.com/fast-flexible-pandas/#this-tutorial