pandas 数据载入、存储及文件格式(二进制格式—使用 HDF5 格式)

                                         二进制格式—使用 HDF5 格式

 

HDF5 是一个备受好评的文件格式，用于存储大量的科学数组数据。它以 C 库的形式提供，并且具有许多其他语言的接口，包括 Java、Julia、MATLAB 和 Python。HDF5 中的 “HDF”代表分层数据格式。每个 HDF5 文件可以存储多个数据集并支持元数据。与更简单的格式相比，HDF5 支持多种压缩模式的即时压缩，使得重复模式的数据可以更高效地存储。HDF5 适用于处理不合适在内存中存储的超大型数据，可以使我们高效读写大型数组的一小块。

尽管我们可以通过使用 PyTables 或 h5py 等库直接访问 HDF5 文件，但 pandas 提供了一个高阶的接口，可以简化 Series 和 DataFrame 的存储。

1、HDFStore 类像字典一样工作并处理低级别细节