YMatrix v5.0 发布：138 项深度优化，重塑集群架构，实现性能及高可用性全方位提升！

最新推荐文章于 2023-10-07 13:57:49 发布

YMatrix 官方技术社区

最新推荐文章于 2023-10-07 13:57:49 发布

阅读量248

点赞数

文章标签：架构大数据 spark 数据库开发数据库

本文链接：https://blog.csdn.net/weixin_57459958/article/details/128175620

版权

10月26日，YMatrix 正式发布全新 5.0 版本，这是 YMatrix 之旅的新里程碑！

在 5.0 版本中，我们关注全场景性能表现，包括写入能力、时序查询能力、单表 OLAP 分析、多表关联 OLAP 分析、Machine Learning 性能以及 OLTP 能力等方面，在生产场景下的写入速度实现了 1.52 亿数据点/秒。哪怕是对写入能力要求最高的时序场景，也可以轻松满足高并发、低延迟的写入需求。

同时，YMatrix 对比时序数据库独角兽 TimescaleDB，查询耗时是 YMatrix 的 5.1 倍；对比知名 OLAP 数据库产品 Clickhouse，YMatrix 在 SSB 基础测试上快 27%；对比 MPP 数据库主流厂商 Greenplum，YMatrix 在多表关联分析场景上实现了数倍的性能提升；对比全球流行的开源大数据平台 Spark，YMatrix 在机器学习场景上的性能是其 8 倍；在 Intel 实验室的TPC-B 国际标准测试中，YMatrix 主键查询 tps 高达 160 万，数十倍于绝大多数产品。

这一次 YMatrix 5.0 在性能上得到重大突破，有 7 个值得重点关注的特性：

全新数据库架构
新增向量化执行引擎
MARS2 存储引擎性能大幅优化
新增编码链压缩算法
新增平滑扩容功能
新增数据迁移工具 mxshift
图形化界面升级

💡下载地址：ymatrix.cn/download

下面我们详细介绍 YMatrix 5.0 版本新特性，欢迎大家升级使用！

1. 全新数据库架构

YMatrix 5 引入了 etcd 集群来管理数据库集群状态，实现了数据库集群主节点（Master）和主节点备用节点（Standby）的自动故障切换，同时加强了数据节点（Segment）的主（Primary）从（Mirror）副本自动故障切换。

同时，YMatrix 5 引入了面向服务的架构，使得数据库集群的安装、运行和维护更加简单方便。

YMatrix 面向服务的新架构图

新增集群管理工具：mxstart（启动一个 YMatrix 集群）、mxstop（停止一个 YMatrix 集群）、mxstate（查看一个 YMatrix 集群的状态）、mxrecover（恢复一个 YMatrix 集群）。

2. 新增向量化执行引擎

向量化执行引擎是专门为面向列的存储引擎（如 MARS2，AOCO）打造的高性能执行引擎。对于常见查询，相比面向行处理的传统执行引擎有一到两个数量级的性能提升。

支持批处理：利用批处理的方式，可以有效减少函数调用等执行开销
充分利用硬件及编译器能力：使用 CPU 缓存友好的算法，从而充分利用硬件以及编译器的优化能力，如生成 SIMD（Single Instruction, Multiple Data）指令
支持多种算子：实现了 Scan、Sort、Aggregate 等算子，对于同一算子也有不同的算法实现，有效覆盖绝大部分查询场景，提升查询性能

基于以上三点核心原理，相比面向行处理的传统执行引擎，向量化执行引擎可实现 1 到 2 个数量级的性能提升。

3. MARS 2 存储性能大幅优化

优化压缩策略，降低内存使用量
优化分区表写入，降低内存使用量
优化查询过滤效果，减少不必要的 I/O 消耗
优化数据量估计，执行计划的选择更精准
增强聚合能力，支持 uniquemode 和 IN 表达式
修复 uniquemode 合并结果顺序问题
修复并行扫描快照对齐问题
修复一处内存泄漏

4. 新增编码链压缩算法

支持多种编码、压缩算法：支持 lz4，zstd，simple8b，doubledelta，gorilla，deltazigzag，floatint 等编码、压缩算法，可灵活组合以上算法，以充分提升压缩率
支持按列自定义编码、压缩算法组合
配合向量化执行引擎使用提升数据压缩 / 解压速度：在 SSB 场景下解压速度是 LZ4 的 3 倍

编码链压缩方案可大幅减小空间占用，降低成本。在新能源汽车场景，压缩率是使用 LZ4 压缩算法方案的 3.9 倍，在 TSBS（Time Series Benchmark Suite）场景，是 LZ4 的 2.7 倍。