HDF5-基础入门

最新推荐文章于 2023-04-01 16:34:26 发布
最新推荐文章于 2023-04-01 16:34:26 发布
阅读量1.8k 收藏 13
点赞数 1
分类专栏： # C++ 文章标签： hdf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wengjianhong2099/article/details/118192409
版权

HDF5

层级数据格式（Hierarchical Data Format：HDF）是设计用来存储和组织大量数据的一组文件格式（HDF4，HDF5）。它最初开发于美国国家超级计算应用中心，现在由非营利社团HDF Group支持，其任务是确保HDF5技术的持续开发和存储在HDF中数据的持续可访问性。

HDF5组成

  • HDF5 group: 包含多个HDF5数据对象/元数据的组织结构，类似文件管理的数据组织形式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O5rrcL1S-1624525861210)(HDF5.assets/group.png)]

There are two groups in the HDF5 file depicted above: Viz and SimOut. Under the Viz group are a variety of images and a table that is shared with the SimOut group. The SimOut group contains a 3-dimensional array, a 2-dimensional array and a link to a 2-dimensional array in another HDF5 file.

  • HDF5 dataset: 包含多维数组的数据，以及描述数据的元数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qaocDkKL-1624525861216)(HDF5.assets/dataset.png)]

Datatypes, dataspaces, properties 以及 (optional) attributes，是用来描述HDF5数据的元数据

数据样例1：

HDF5 "C:/Users/******/Desktop/h5ex_t_array.h5" {
    GROUP "/" {
       DATASET "DS1" {
          DATATYPE  H5T_ARRAY { [3][5] H5T_STD_I64LE }  // 派生的数据类型
          DATASPACE  SIMPLE { ( 4 ) / ( 4 ) }
          DATA {
          (0): [ 0, 0, 0, 0, 0,
                0, -1, -2, -3, -4,
                0, -2, -4, -6, -8 ],
          (1): [ 0, 1, 2, 3, 4,
                1, 1, 1, 1, 1,
                2, 1, 0, -1, -2 ],
          (2): [ 0, 2, 4, 6, 8,
                2, 3, 4, 5, 6,
                4, 4, 4, 4, 4 ],
          (3): [ 0, 3, 6, 9, 12,
                3, 5, 7, 9, 11,
                6, 7, 8, 9, 10 ]
          }
       }
    }
}

元数据

Datatypes（数据类型）

datatypes用来描述dataset中数据的类型，同时也是完成数据转换的充分必要的信息。大致概括如下：

Pre-Defined Datatypes: HDF5预定义的数据类型，有以下两种（见样例数据2）

​ 标准datatypes：即在所有平台通用的数据格式，如：H5T_IEEE_F32BE表示标准大端浮点类型

​ 私有datatypes：即不是所有平台通用的数据格式，如：HDF5中的H5T_NATIVE_INT对应于C语言的int

Derived Datatypes：由上述pre-defined datatypes派生出来的数据类型（见样例数据1）

样例数据2：

HDF5 "C:/Users/wengjianhong/Desktop/h5ex_d_compact.h5" {
GROUP "/" {
    DATASET "DS1" {
      DATATYPE  H5T_STD_I32LE	// 标准预定义数据类型，int
      DATASPACE  SIMPLE { ( 4, 7 ) / ( 4, 7 ) }
      DATA {
      (0,0): 0, -1, -2, -3, -4, -5, -6,
      (1,0): 0, 0, 0, 0, 0, 0, 0,
      (2,0): 0, 1, 2, 3, 4, 5, 6,
      (3,0): 0, 2, 4, 6, 8, 10, 12
      }
   }
}
Dataspaces（数据空间）

数据空间这个词是自己翻译的出来的，总感觉有点别扭。。。

Dataspaces用来表示数据的布局，比如下面图片表示dataset的秩是3，并且是一个5*3的二维数组

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6k49iT4t-1624525861218)(HDF5.assets/dataspace1.png)]

数据空间的另一个作用是：可以用来选择数据集中的一个分片，如下图（具体怎么用不太懂）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7qWOfzF8-1624525861221)(HDF5.assets/dataspace.png)]

Properties（数据特性）

Properties用来表述数据的特性，大部分情况下可以使用默认属性。也可以通过HDF5 Property List API调整以获得更好的性能。

例如，数据集的数据存储布局属性默认是连续的。为了更好的性能，布局可以被修改为分块或分块和压缩：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5EUUO2xp-1624525861225)(HDF5.assets/properties.png)]

Attributes（对象属性）

对象属性可以和HDF5数据对象相关联，属性包含：属性名和属性值，必须依赖所属对象进行访问，所以可以认为对象属性不是独立的对象。

Attributes和Dataset类似，两者都有datatype和dataspace，然而，对象属性不支持IO操作、数据压缩或扩展

样例数据3（数据存放在DATASET）

HDF5 "C:/Users/wengjianhong/Desktop/h5ex_t_array.h5" {
GROUP "/" {
   DATASET "DS1" {
      DATATYPE  H5T_ARRAY { [3][5] H5T_STD_I64LE }
      DATASPACE  SIMPLE { ( 4 ) / ( 4 ) }
      DATA {
      (0): [ 0, 0, 0, 0, 0,
            0, -1, -2, -3, -4,
            0, -2, -4, -6, -8 ],
      (1): [ 0, 1, 2, 3, 4,
            1, 1, 1, 1, 1,
            2, 1, 0, -1, -2 ],
      (2): [ 0, 2, 4, 6, 8,
            2, 3, 4, 5, 6,
            4, 4, 4, 4, 4 ],
      (3): [ 0, 3, 6, 9, 12,
            3, 5, 7, 9, 11,
            6, 7, 8, 9, 10 ]
      }
   }
}
}

样例数据3（数据存放在Attributes）

HDF5 "C:/Users/wengjianhong/Desktop/h5ex_t_arrayatt.h5" {
GROUP "/" {
   DATASET "DS1" {
      DATATYPE  H5T_STD_I32LE
      DATASPACE  NULL
      DATA {
      }
      ATTRIBUTE "A1" {
         DATATYPE  H5T_ARRAY { [3][5] H5T_STD_I64LE }
         DATASPACE  SIMPLE { ( 4 ) / ( 4 ) }
         DATA {
         (0): [ 0, 0, 0, 0, 0,
               0, -1, -2, -3, -4,
               0, -2, -4, -6, -8 ],
         (1): [ 0, 1, 2, 3, 4,
               1, 1, 1, 1, 1,
               2, 1, 0, -1, -2 ],
         (2): [ 0, 2, 4, 6, 8,
               2, 3, 4, 5, 6,
               4, 4, 4, 4, 4 ],
         (3): [ 0, 3, 6, 9, 12,
               3, 5, 7, 9, 11,
               6, 7, 8, 9, 10 ]
         }
      }
   }
}
}

API分类

APIDESCRIPTION
H5Library Functions: general-purpose H5 functions
H5AAnnotation Interface: attribute access and manipulation routines
H5DDataset Interface: dataset access and manipulation routines
H5EError Interface: error handling routines
H5FFile Interface: file access routines
H5GGroup Interface: group creation and operation routines
H5IIdentifier Interface: identifier routines
H5LLink Interface: link routines
H5OObject Interface: object routines
H5PProperty List Interface: object property list manipulation routines
H5RReference Interface: reference routines
H5SDataspace Interface: dataspace definition and access routines
H5TDatatype Interface: datatype creation and manipulation routines
H5ZCompression Interface: compression routine(s)

HDF5程序开发和APIs介绍

创建一个文件

  1. 指定属性或者使用默认值
  2. 创建文件
  3. 关闭文件
#include “hdf5.h”
int main() {
    hid_t       file_id;
    herr_t      status;

    // H5F_ACC_TRUNC： 如果文件已存在，则覆盖， H5P_DEFAULT：默认配置项
    file_id = H5Fcreate ("file.h5", H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT); 
    status = H5Fclose (file_id);
}

创建一个dataset

  1. 设置 dataset 属性(datatype, dataspace, properties).
  2. 决定将 dataset 附加到哪个group
  3. 创建 dataset
  4. 关闭 dataset
   /* Create the dataspace for the dataset. */
   dims[0] = 4;
   dims[1] = 6;
   dataspace_id = H5Screate_simple(2, dims, NULL);

   /* Create the dataset. */
   dataset_id = H5Dcreate (file_id, "/dset", H5T_STD_I32BE, dataspace_id, H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);

   /* Close the dataset and dataspace */
   status = H5Dclose(dataset_id);
   status = H5Sclose(dataspace_id);

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TTFFvQDg-1624525861227)(HDF5.assets/crtdset.png)]

读/写dataset


#include “hdf5.h”
int main() {
    hid_t       file_id;
    herr_t      status;
    
    /* Create the h5 file. */
    file_id = H5Fcreate ("dset.h5", H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT); 
    
    /* Create the dataspace for the dataset. */
    dims[0] = 4;
    dims[1] = 6;
    dataspace_id = H5Screate_simple(2, dims, NULL);

    /* Create the dataset. */
    dataset_id = H5Dcreate (file_id, "/dset", H5T_STD_I32BE, dataspace_id, H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);
    
	 /* write the dataset */
    status = H5Dwrite (dataset_id, H5T_NATIVE_INT, H5S_ALL, H5S_ALL, H5P_DEFAULT, dset_data);
	 /* read the dataset */
	 status = H5Dread (dataset_id, H5T_NATIVE_INT, H5S_ALL, H5S_ALL,   H5P_DEFAULT, dset_data);

    /* Close the dataset and dataspace */
    status = H5Dclose(dataset_id);
    status = H5Sclose(dataspace_id);
 
    status = H5Fclose (file_id);
}

创建group

  1. 决定将数据存放到哪个 group
  2. 定义数据特性
  3. 创建 group.
  4. 关闭 group
group_id = H5Gcreate (file_id, "MyGroup", H5P_DEFAULT, H5P_DEFAULT, H5P_DEFAULT);

status = H5Gclose (group_id);

创建/写入attribute

  1. Open the object that you wish to add an attribute to.
  2. Create the attribute
  3. Write to the attribute
  4. Close the attribute and the object it is attached to.
hid_t        attribute_id, dataspace_id;  /* identifiers */
hsize_t       dims;
int          attr_data[2];
herr_t        status;
   ...
/* Initialize the attribute data. */
attr_data[0] = 100;
attr_data[1] = 200;

/* Create the data space for the attribute. */
dims = 2;
dataspace_id = H5Screate_simple(1, &dims, NULL);

/* Create a dataset attribute. */
attribute_id = H5Acreate2 (dataset_id, "Units", H5T_STD_I32BE, dataspace_id, H5P_DEFAULT, H5P_DEFAULT);


/* Write the attribute data. */
status = H5Awrite(attribute_id, H5T_NATIVE_INT, attr_data);

/* Close the attribute. */
status = H5Aclose(attribute_id);

/* Close the dataspace. */
status = H5Sclose(dataspace_id);

以上内容翻自：https://portal.hdfgroup.org/display/HDF5/Introduction+to+HDF5#IntroductiontoHDF5-introprog

一念之间 一心向阳
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDF5文件数据读取
依然吧的博客
10-02 553
详细介绍使用hdf5读取h5格式的激光点云数据
hdf5-rust:HDF5防锈
05-14
hdf5-rust 用于Rust的HDF5。 hdf5板条箱（以前称为hdf5-rs ）为HDF5库API提供了线程安全的Rust绑定和高级包装器。 一些功能包括： 具有非线程安全性libhdf5的线程安全性是通过可重入互斥体来保证的。 大多数HDF5类型的本机表示形式，包括可变长度的字符串和数组。 派生宏，用于将用户结构和枚举自动映射到HDF5类型。 通过ndarray的多维数组读写接口。 直接低级绑定也可用，并在hdf5-sys板条箱中提供。 需要版本1.8.4或更高版本的HDF5库。 例子 #[derive(hdf5::H5Type, Clone, PartialEq, Debug)] #[repr(u8)] pub enum Color { RED = 1 , GREEN = 2 , BLUE = 3 , } #[derive(hdf5::H
HDF5是什么文件格式？
kewei chen
04-01 1703
(4) 【Python基础】在pandas中利用hdf5高效存储数据_风度78的 …(6) HDF5文件介绍_hdf5是什么文件_秦岭熊猫的博客-CSDN博客. https://blog.csdn.net/tianshan2010/article/details/106052466 访问时间 2023/4/1.2023/4/1(1) h5py快速入门指南 - 简书. https://www.jianshu.com/p/a6328c4f4986 访问时间 2023/4/1.
hdf5-1.8.21.tar.gz -- 免积分
01-01
opencv编译需要的hdf-5-1.8.21.tar.gz
hdf5-1.10.5.tar.gz
12-13
hdf5-1.10.5.tar.gz源码包，安装步骤： 执行解压 sudo tar -xvf hdf5-1.10.5.tar.g 解压后会生成目录hdf5-1.10.5，切换到该目录下 cd  hdf5-1.10.5/ 依次执行     sudo ./configure --prefix=/usr/local/hdf5     sudo make     sudo make check        sudo make install
HDF5快速上手全攻略
热门推荐
C0ding...
03-19 6万+
Hierarchical Data Format(HDF)是一种针对大量数据进行组织和存储的文件格式。本文回归了HDF5的安装和使用，涉及文件结构，数据集读写，子集访问等基本操作，以及分块与压缩，添加属性，并行化等高级课题。此外，文中还列出了python和C++的实用代码。
HDF5-简介
GG的专栏
04-13 3万+
HDF（Hierarchical Data Format）是一种设计用于存储和组织大量数据的文件格式，最开始由美国国家超算中心研发，后来由一个非盈利组织HDF Group支持.HDF支持多种商业及非商业的软件平台，包括MATLAB、Java、Python、R和Julia等等，现在也提供了Spark.其版本包括了HDF4和现在大量用的HDF5，. 虽然HDF Group仍然维护和支持HDF4，但是...
15、Python第三方库：HDF5 简介
Man
04-12 2万+
Hierarchical Data Format Version 5, HDF5： 层次性数据格式第五版，是一种存储相同类型数值的大数组的机制，适用于可被层次性组织且数据集需要被元数据标记的数据模型，常用的接口模块为 h5py
HDF5简介
lingduhuanbing的博客
03-30 2106
HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。HDF 被设计为：自述性：对于一个HDF 文件里的每一个数据对象，有关于该数据的综合信息（元数据）。在没有任何外部信息的情况下，HDF 允许应用程序解释HDF文件的结构和内容。通用性：许多数据类型都可以被嵌入在一个HDF文件里。
HDF5数据的打包与使用（以图像数据为例）
Hello Word
01-08 2275
HDF5 数据是存储在一种名为 Hierarchical Data Format version 5 (HDF5) 的二进制文件格式中的数据。这种文件格式可以用来存储大量的多维数据，并且提供了很多的功能来帮助用户组织和管理数据。HDF5 数据文件中包含了一系列的数据集，每个数据集都是一个多维数组。数据集的维度可以是任意的数量，并且每个数据集都可以有自己的属性。这使得 HDF5 文件格式非常适合用来存储大量的数值型数据，比如图像、音频、视频等。
hdf5-1.8.20 source code
05-12
hdf5 1.8.20 source code 源码，我的另一个资源有HDF5-1.8.20-win32_win64.msi
hdf5-1.8.16
09-18
hdf5-1.8.16在caffe编译时或许会提示hdf5版本问题，例如Headers are 1.10.2, library is 1.8.16。 安装步骤： 解压文件hdf5-1.8.16 后执行命令： cd ~/hdf5-1.8.16 sudo bash ./configure --prefix=/usr/local/hdf5-...
hdf5-1.8.18
04-19
hdf5-1.8.18下载 解压后99M
hdf5-1.10.4
10-24
HDF5是一种全新的分层数据格式产品，由数据格式规范和支持库实现组成。HDF5旨在解决较旧的HDF产品的一些限制，满足现代系统和应用需求。最新hdf5-1.10.4，在安装caffe时可能会用到。
hdf5-1.10.5.tar.bz2
07-09
hdf5-1.10.5源码安装包，下载比较困难，方便大家学习。
hdf5-1.12.0.tar
07-20
hdf5-1.12.0.tar
hdf5-1.6.0到10 hdf5-1.8.18.0 hdf5-1.10.1 hdf5-1.10.2下载
02-14
hdf5-1.6.0到10 hdf5-1.8.18.0 hdf5-1.10.1 hdf5-1.10.2
hdf5-1.8.18.tar
08-29
hdf5-1.8.18
hdf5-devel-1.10.5-5.el8.aarch64.rpm
12-09
离线安装包，亲测可用
hdf5-1.12.0下载
最新发布
01-19
要下载hdf5-1.12.0，可以按照以下步骤进行操作： 首先，打开HDF5官方网站（https://www.hdfgroup.org/downloads/hdf5/），在网站上找到hdf5-1.12.0版本的下载页。 在下载页上，可以看到不同操作系统的安装文件，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值