h5 hdf5 pytables 数据库 减少空间占用的方法

最新推荐文章于 2025-03-26 10:59:09 发布
最新推荐文章于 2025-03-26 10:59:09 发布
阅读量426 收藏
点赞数
分类专栏： 日常经验 文章标签： 数据库 hdf5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ONE_SIX_MIX/article/details/135040205
版权
本文介绍了如何处理H5数据库中删除数据后空间无法释放的问题，推荐使用h5repack工具进行重建，并结合无损压缩（如gzip）以节省空间。详细讲解了Windows系统下的h5repack命令安装和使用方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

方法来源：https://forum.hdfgroup.org/t/hdf5-deleting-datasets-and-recovering-space/1293

h5 数据库，在删除一些数据，表，数组后，无法变小；
或是在多次读写后，会越来越大，并且有一些空间会永久无法重用，导致浪费。

此时可以使用 h5repack 工具，快速重建 h5 数据库，可以立刻把未使用空间省出来。
也可以同时使用无损压缩，进一步减少 h5数据库的空间占用。

重建 h5 数据库的命令

h5repack old.hdf5 new.hdf5

重建 h5 数据库时，同时使用 gzip 进行压缩

h5repack -f GZIP=1 .\tmp_db.hdf5 new.hdf5

h5repack 命令的来源
在hdf5 的官方下载页面 https://portal.hdfgroup.org/downloads/index.html 点击这个
在这里插入图片描述
在这里找到预构建的安装程序
在这里插入图片描述
我的是windows系统，所以选中 windows 系统
在这里插入图片描述
然后选择这个在这里插入图片描述
直接安装之后，重启系统，即可有 h5repack 命令

Python数据分析NumPy和pandas（十七、pandas 二进制格式文件处理）
FreedomLeo1的博客
10-31 900
HDF5 是一种备受推崇的文件格式，用于存储大量科学阵列数据。如果是在本地处理大量数据，可以更多的使用 PyTables 和 h5py，但是基于以上的学习内容还不够，需要深入了解他们的功能。由于许多数据分析问题都是 I/O 密集型（而不是 CPU 密集型）的，因此 HDF5 这样的工具使用会极大的提高我们的访问效率。使用pandas.ExcelFile读取excel文件中的多个工作表会更快，但我们也可以使用pandas.read_excel，这个编写代码相对更简单，同样接收文件名作为参数。
pandas 数据载入、存储及文件格式(二进制格式—使用 HDF5 格式)
weixin_38477351的博客
07-26 1005
二进制格式—使用 HDF5 格式 HDF5是一个备受好评的文件格式，用于存储大量的科学数组数据。它以 C库的形式提供，并且具有许多其他语言的接口，包括 Java、Julia、MATLAB和 Python。HDF5中的 “HDF”代表分层数据格式。每个 HDF5文件可以存储多个数据集并支持元数据。与更简单的格式相比，HDF5支持多种压缩模式的即时压缩，使得重复模式的数据可以更高效地存储。HDF5适用于处理不...
HDF5快速上手全攻略
热门推荐
C0ding...
03-19 7万+
Hierarchical Data Format(HDF)是一种针对大量数据进行组织和存储的文件格式。本文回归了HDF5的安装和使用，涉及文件结构，数据集读写，子集访问等基本操作，以及分块与压缩，添加属性，并行化等高级课题。此外，文中还列出了python和C++的实用代码。
较完整的H5数据库封装---只需要key-value的存取方式
u012488649的博客
10-28 2053
前言  本篇封装了移动端H5的数据库，兼容了IndexDB和WebSql,只需使用key-vale的方式进行存取； 为什么要封装WebSql呢？ios9还不支持IndexDB；闲话少说，直接上代码var isIOS = !!navigator.userAgent.match(/\(i[^;]+;( U;)? CPU.+Mac OS X/);//判断是否是ios var isoVersion = n
基于H5开发的生活记账应用数据库设计方案，包含统计分析功能和MySQL建表SQL语句
最新发布
分享平时的学习心得和笔记
03-26 919
以下是基于H5开发的生活记账应用数据库设计方案，包含统计分析功能和MySQL建表SQL语句
H5本地存储和本地数据库
lavendersue的博客
04-19 1万+
在Html4的时代在浏览器端存储点网站个性化的数据，尤其是用户浏览器的痕迹，用户的相关数据等一般只能存储在Cookie中，但是大多是浏览器对于Cookie的限制也就逼迫网站存储数据尽量精简，想存储复杂的、关系型的用户数据就根本不可能了。但是进入Html5时代，这些都不是问题。 众所周知Html4时代Cookie的大小、格式、存储数据格式等限制，网站应用如果想在浏览器端存储用户的部分信息，那么只能...
HTML5 Web Sql DataBase 数据库
胡西风的博客
01-19 746
web database 介绍 Web Sql 数据库API实际上不是H5规范的组成部分，而是单独的规范。 它通过一套API来操纵客户端的数据库。 Safari、Chrome、FireFox、Opera等主流浏览器都已经支持Web SQL Database。 HTML Web Database 操作使用 Web Sql 数据库有三个核心方法： openDatabase() 此方法创建数据库对象，既...
H5本地数据库使用实例
weixin_34326179的博客
04-18 2610
<!DOCTYPE html><html><head lang="en"> <meta charset="UTF-8"> <title></title></head><body> <script type="text/javascript"> var db...
H5中的IndexedDB数据库
书中自有妍如玉的博客
10-26 1324
数据库。
HDF5 数据库及 h5p
changzi990的博客
06-17 434
HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 I/O 性能，支持几乎无限量（高达 EB）的单文件存储等，详见其官方介绍：https://support.hdfgroup.org/HDF5/。用 h5py 操作 HDF5 文件，我们可以像使用目录一样使用 group，像使用 numpy 数组一样使用 dataset，像使用字典一样使用属性，非常方便和易用。HDF5 数据库，又称HDF5文件。我们只介绍 h5py。
利用python进行数据分析：XML 和 HTML ：网络抓取，二进制格式，使用 HDF5 格式，读取 Microsoft Excel 文件
AI路漫漫
06-07 561
看来爬虫没白学！！！！
html5本地存储web sql数据库操作增删查找实例
11-26
本例详细演示了数据库创建 表格创建 数据增删查改 删除表格各种功能
ondrejtichacek/mrep​ack:用于 h5repack 的 Matlab 包装器-matlab开发
05-29
在新的 (v7.3) matlab .mat 文件中删除（或覆盖）变量时，文件大小不会改变。 这个贡献为 h5repack 实用程序提供了一个最小的包装函数，可以从文件中释放未使用的空间。 请参阅https://stackoverflow.com/questions/41526334/matlab-matfile-increases-in-size-when-overwriting-cell-data以供参考。
tushare获取 保存_TuShare（2）：使用TuShare，抓取股票数据并存储到数据库
weixin_39532019的博客
12-20 464
TuShare(2)：使用TuShare，抓取股票数据并存储到数据库1年前2001，关于股票数据存储股票数据比较特殊，需要做数据统计的。都需要一次进行批量查询多个数据，然后进行分析。所以股票数据不一定要放到数据库中存储。因为一般就两个维度。那只股票，和那天的股票信息，然后使用模型进行分析预测。所以数据可以存储为：/data/stock/yyyy/yyyMM/yyyyMMdd.hdf5存储的...
IndexedDB浏览器中的数据库详细介绍。（H5）
牛爷爷的博客
11-10 1068
IndexedDB介绍：IndexedDB是在浏览器中保存结构化数据的一种数据库。替代目前已被废弃的Web SQL Database API而出现的，IndexedDB设计的操作完全是异步进行的。因此，大多数操作会以请求方式进行，但这些操作会在后期执行，然后如果成功则返回结果。差不多每一次IndexedDB操作，都需要你注册onerror或onsuccess事件处理程序，以确保适当地处理结果。
SQL实践篇（一）：使用WebSQL在H5中存储一个本地数据库
经年藏殊的博客
12-24 1748
简单介绍了一下本地存储的概念，并以WebSQL为例，介绍如何通过WebSQL在H5中存储一个本地数据库实例。
sqlite在H5中封装及使用(笔记)
weixin_42998230的博客
03-02 3006
1、sqlite.js import Vue from 'vue' const app = new Vue() //name:数据库名字 //databaseName:表名字 //tableField:表的字段 //dataType:字段类型 //saveData:存储数据 //field:查询的字段名，数组形式传值 //数据库查询成功和失败的数据处理 let success = { code: 0, data: null, msg: '成功' } let fail = { code: 1, d
html 5 本地数据库（Web Sql Database）详解
Rdj_MISS的专栏
04-29 2092
html 5 本地数据库（Web Sql Database）详解我们一起来了解HTML 5的Web SQL Database API。下面将一一将介绍怎样创建打开数据库，创建表，添加数据，更新数据，删除数据，删除表 。先介绍三个核心方法1、openDatabase：这个方法使用现有数据库或创建新数据库创建数据库对象。2、transaction：这个方法允许我们根据情况控制事务提交或回滚。3、exec
python无plain text
02-12
### Python 中不使用纯文本处理数据的方法和库 #### 使用结构化数据格式 除了传统的纯文本文件外，Python 支持多种更高效的结构化数据存储方式。这些方法不仅提高了读写效率，还增强了数据的安全性和可维护性。 #### JSON 数据处理 JSON 是一种轻量级的数据交换格式，易于阅读和编写。Python 的 `json` 库提供了方便的操作接口来解析和生成 JSON 文件。 ```python import json data = { "name": "Alice", "age": 30, "city": "New York" } with open('data.json', 'w') as f: json.dump(data, f) with open('data.json', 'r') as f: loaded_data = json.load(f) ``` #### XML 和 YAML 格式支持 对于配置文件或其他需要层次结构表示的应用场景，XML 或者 YAML 可能更为合适。PyYAML 提供了对 YAML 文件的支持；而 xml.etree.ElementTree 则用于操作 XML 文档[^1]。 #### CSV 文件管理 CSV (逗号分隔值) 文件是一种常见的表格型数据源形式。Pandas 库以其强大灵活的功能成为处理此类数据的理想选择之一。 ```python import pandas as pd df = pd.DataFrame({ 'Name': ['John', 'Jane'], 'Age': [28, 34], }) df.to_csv('people.csv', index=False) read_df = pd.read_csv('people.csv') ``` #### HDF5 存储解决方案 HDF5 设计用来保存大量的科学计算产生的多维数组信息。h5py 和 PyTables 这两个第三方包允许用户创建、访问并修改 HDF5 文件中的大型数据集[^3]。 #### 关系数据库交互 SQLAlchemy 是一个 SQL 工具箱及 ORM 框架，它为应用程序提供了一个全面且通用的方式去连接关系型数据库管理系统(RDBMS)，从而简化复杂查询语句的构建过程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值