这是流式数据库系统的核心功能架构图,从图中可以看到流数据库在“存储引擎”、“执行引擎”、“SQL查询引擎”以及“接口访问驱动层”等内核层面都做了修改。
存储引擎层面:增加了流对象存储用于实时存储流数据;为保证流数据的完整性、一致性和正确性在流对象存储上增加了流约束;为了提高双流join的性能增加了流索引,增加外部数据源扩展插件用于读写多种外部数据源,以支持现有流式处理系统的生态,从而无缝替代现有的流式处理系统Flink等。
执行引擎层面:增加了PUSH模式大大的提高了流处理的实时性;流式窗口分析算子支持滚动窗口、滑动窗口、会话窗口;流式关联查询支持双流join以及流表join;异步屏障快照保证了流处理数据的精确唯一性;为流处理特殊设计的并发模型保证了流处理的性能。
SQL查询引擎层面:增加了流处理特有的语法,对优化器以及元数据部分都针对流式处理做了相应修改。
接口驱动层面:为了方便数据库用户快速切入流数据库,我们针对jdbc、odbc、libpq等接口驱动增加了实时数据推送功能并且完全现有的接口。用户可以像使用传统数据库一样调用jdbc、odbc、libpq接口执行SQL语句使用流数据库。
关于AntDB数据库
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。