Parallel HDF5 简介

 一 ，简介

HDF5是HDF的最新版本，是最高层次的I/O库，提供并行应用程序之间的接口和并行MPI-IO操作，支持文件级并行I/O数据压缩，子集访问等高效存储机制，提供高效灵活的并行IO机制，并支持IO方式的数据集读写，采用二进制格式存储科学数据基元数据，文件格式统一。

 

1. PHDF5 特点：

1. PHDF5文件与串行HDF5文件兼容（可在不同的串行或并行平台之间共享）
2. 并行HDF5应该允许多个进程同时对一个HDF5文件执行I/O
3. 支持消息传递接口（MPI）编程

2. PHDF5 实施环境要求：

1. MPI 和 MPI-IO
2.  并行文件系统

二，并行HDF5与MPI 工作原理

     HDF5 的IO并行机制使得用户不必熟悉底层数据格式，也不必关心内部复杂的数据处理，可以高效地存储、访问数据文件。
       HDF5封装mpi-io库，底层支持的是mpi-io 和并行文件系统，用户应用程序只需要调用参数，可使用底层i/o机制来针对特定优化i/o性能。

1. 并行访问HDF5文件的通用模型：

1. 设置MPI-IO文件访问属性列表
2. 打开文件
3. 访问数据
4. 关闭文件

2. 读取 HDF5 文件数据基本流程：

• open  file
•        open dset
•                 mpi access
•              (read rules)
•                read data
•        close dset
•  close file

3. PHDF5  WRITE/READ DATA：

• rows
• colunms
• patern
• chunk

接下来的文章将会从以上四种情况进行并行操作数据的详细介绍。