【AntDB分布式数据库的发展展望】分布式数据库的热点技术 - 时序数据处理

随着大数据技术在各个领域的应用，数据的格式多种多样，对数据处理的需求也层出不穷，尤其是在物联网、AI、知识图谱、区块链、云原生等新兴领域， 需要赋予数据库新的能力，开源社区针对这些新兴领域，提出各种新型数据库， 比如时序数据库、图数据库等，AntDB 后续会借鉴这些开源数据库的设计思想在分布式数据库中实现相应功能。

下面举例说明 AntDB 应对各个新兴领域所做的改造和优化方案。

时序数据处理

近几年 IoT、IIoT、AIoT 和智慧城市快速发展，时序数据库成为数据库领域的一个热门话题。根据国际知名网站 DB-Engines 数据显示，时序数据库在过去 24 个月内排名高居榜首（如图 7-13 所示），且远高于其他类型的数据库， 可见业内对时序数据库的迫切需求。

在 DB-Engines 的时序数据库排行榜中，InfluxDB 一直位居榜首。InfluxDB 从 2013  年诞生至今，已深耕时序数据处理行业多年，见证了整个时序数据库发展的历史。从最初的设备监控，扩展到日志采集、事件追踪、用户评论甚至金融分析等，无处不在。

图 7-13 DB-Engines 过去 24 个月数据库趋势图

近年来，随着物联网时代的到来，时序数据加速膨胀，无论数据规模还是应用场景，相比 10 年前，都发生了巨大变化。5G 普及带来千万级设备的实时监控和智能网管，互联亿级异构设备的智能家居场景需要处理频率、指标数量和质量均参差不齐的数据采集和分析，车联网、自动驾驶正在应对书签指标高频率采集和实时决策，类似的场景和挑战在每个行业中都在发生。当前所有时序数据库已经无法满足未来持续演进的趋势。

2020 年底，InfluxDB 官方启动“ 氧化铁（Iron Oxide） 项目”， 打造下一代时序数据库 InfluxDB IOx，为了更好地分析新时代的时序数据，InfluxDB IOx 列举了新一代时序数据库的设计目标，如图 7-14 所示。

图 7-14   InfluxDB IOx 新一代时序数据库的设计目标

InfluxDB IOx 将自己定位为面向分析的列存数据库，而不仅仅是原有专用时序数据库。InfluxDB IOx 为了更好地满足设计目标，采用Rust 语言，尽可能复用开源组件。架构上采用存储计算分离，所有状态持久化到对象存储，保证计算资源调度的灵活性。存储引擎采用“Apache Arrow+Parquet”的经典组合， 回归关系模型，通过列式存储、稀疏索引降低存储开销。计算引擎核心采用Data Fusion，查询接口兼容标准 SQL，优化器和执行器泾渭分明。由此可见， InfluxDB IOx 和分析型关系数据库已经没有本质上的区别了。

AntDB 在时序数据处理方面是直接按照下一代时序数据库的标准去做的：

7.1.2 节里提到的写优化的行列混合存储，相当于“InfluxDB IOx 的 Apache Arrow+Parquet”存储组合。AntDB 本身就有基于 SQL 的分布式执行引擎，再加上 7.2.2  节将提到的流式计算，可以灵活处理时序数据的持续聚集以及在线分析功能。此外 AntDB 还会采用存储计算分离架构，把数据存储在分布式块存储和对象存储上，支撑超大规模数据量。