HDF5(.h5) 和 AnnData(.h5ad) 详解介绍

HDF5 (Hierarchical Data Format version 5)

概述

HDF5 是一种广泛用于科学计算和工程领域的数据存储文件格式。它设计用于存储和组织大量复杂的数据集，具有高度的灵活性和扩展性。

主要特性

1. 层次结构：

   • HDF5 文件通过“组”（Groups）和“数据集”（Datasets）来组织数据。组类似于文件夹，可以包含子组或数据集；数据集是实际存储数据的地方，可以是多维数组。
   • 支持嵌套结构，允许将数据组织成类似于文件系统的树状结构。

2. 数据类型支持：

   • HDF5 可以存储各种数据类型，包括标量、数组（多维数组）、图像、表格、字符串等，且支持复杂数据类型（如复数、对象等）。
   • 数据集可以有属性（Attributes），这些属性为元数据，描述了数据的性质，如单位、描述信息等。

3. 高效性：

   • HDF5 支持数据压缩和分块存储（chunking），使得即使在处理大规模数据时，也可以快速存取部分数据。
   • 支持并行I/O操作，因此非常适合高性能计算环境。

4. 跨平台兼容性：

   • HDF5 文件可以在不同的操作系统（如Windows、Linux、MacOS）之间互相传输而不丢失数据。
   • 支持多种编程语言，包括C、C++、Fortran、Python、R、Matlab等。

5. 元数据管理：

   • HDF5 的元数据管理能力强大，允许为数据集和组添加任意数量的属性，从而提供了详细的数据描述能力。

应用场景

• 科学计算：如天文学、物理学、气象学等领域的大型数据集。
• 工程应用：如计算流体力学（CFD）、有限元分析（FEA）等仿真数据。
• 遥感和地理信息系统：如卫星图像数据存储和分析。
• 高性能计算：