IoTDB 集群性能优化：内存配置详解

Apache IoTDB

已于 2024-08-06 17:31:19 修改

阅读量561

点赞数 6

文章标签： iotdb 性能优化 linux 时序数据库数据库

于 2024-08-02 17:21:01 首次发布

本文链接：https://blog.csdn.net/qin_db/article/details/140937444

版权

合理配置 IoTDB 内存，有效提升集群效能！

IoTDB 是针对时间序列数据采集、存储与分析一体化的数据管理引擎。其性能和运行稳定性在很大程度上依赖于内存的合理配置。本文将详细介绍 IoTDB 内存配置的最佳实践，包括新的脚本参数和计算逻辑。

01 内存配置的重要性

内存配置对于 IoTDB 集群的性能至关重要。合理的内存配置可以提高数据处理效率，减少延迟，同时避免内存溢出导致的服务中断，亦可以精准控制内存避免因内存使用过多导致 IoTDB 进程被系统 OOM Killer。

02 配置方式

方式一：省时省力简配

仅配置 MEMORY_SIZE 参数。MEMORY_SIZE 是 1.3.0 及之后版本中新增的内存控制参数，用于指定 IoTDB 可以使用的总内存大小（堆内+堆外）。

如未设置 MEMORY_SIZE，则脚本将根据系统内存自动计算，ConfigNode 占用内存为系统内存的 30%，DataNode 占用内存为系统内存的 50%。同时系统将根据 MEMORY_SIZE 大小，自动分配堆内和堆外内存，具体规则是：

- MEMORY_SIZE < 4G：堆内 3/4，堆外 1/4
- 4G ≤ MEMORY_SIZE < 16G：堆内 4/5，堆外 1/5
- 16G ≤ MEMORY_SIZE < 128G：堆内 7/8，堆外 1/8
- 128G ≤ MEMORY_SIZE：堆内 MEMORY_SIZE - 16G，堆外 16G

具体设置方式如下：

ConfigNode 内存：设置 conf/confignode-env.sh(bat) 中的 MEMORY_SIZE，单位为 G 或 M

DataNode 内存：设置 conf/datanode-env.sh(bat) 中的 MEMORY_SIZE，单位为 G 或 M

方式二：精细配置

分别配置堆内内存 ON_HEAP_MEMORY 与堆外内存 OFF_HEAP_MEMORY 参数。这两个参数是 1.3.0 及之后版本中的内存控制参数，是从历史版本 MAX_HEAP_SIZE、HEAP_NEWSIZE 以及 MAX_DIRECT_MEMORY_SIZE 三个参数优化而来。相比原有设置，理解成本更低，配置更加简便。

如设置 ON_HEAP_MEMORY 与堆外内存 OFF_HEAP_MEMORY 参数，系统将根据用户设置来分配堆内外内存，其优先级高于系统根据 MEMORY_SIZE 自动分配的堆内外内存。

具体设置方式如下：