其实是测试半遂体验。
这阵子对OLAP数据库产生了兴趣,先是简单测试了ClickHouse,性能的确不错,不过它在稳定&可靠性,整体生态&周边配套方面还有待加强,我会持续保持关注。
3月27日,腾讯云推送的文章 TXSQL(TencentDB for MySQL) 8.0特性介绍 中提到即将推出 基于MySQL框架的列存引擎CSTORE,看了下架构图,和以前红极一时的 infobright 有点神似。
不过现在还没上线,还不能开始内测,只能看看了。
转过身看看阿里云,发现有 分析型数据库MySQL版(AnalyticDB,简称ADB) 以及 云数据库ClickHouse 可选。
ADB的产品介绍可以看官方文档 什么是分析型数据库MySQL版,我抓取了其中几个关键技术信息:
云端PB级高并发实时数据仓库。
采用关系模型的行列混存技术。
自动索引,智能优化器。
高度兼容MySQL和SQL 2003语法。
可对RDS直接创建一个分析实例,构建ADB,并利用DTS实现数据同步。
看着很牛逼,有木有,那就测测呗。
1. 新建RDS实例和ADB实例
我选择的RDS实例对标之前用于测试ClickHouse的规则
4CPU
16G内存
500G存储
选择ADB实例时,系统会根据RDS中的数据量,只显示符合条件的规格,我这里选择的是 3.0版本、T16型号、存储空间 600G。
2. 导入测试数据
老样子,用ClickHouse官网提到的dbgen工具生成测试数据,生成数据时选择 -s 100
参数。
然后在RDS实例中分别导入到几个测试表。
MySQL [testabc]> load data local infile '/data/ssb-dbgen/customer.tbl'
into table customer fields terminated by '\t';
提醒:ClickHouse官网提供的建表DDL需要自己微调下,改成适用于MySQL的语法和数据类型。
3. 创建数据同步DTS任务
DTS的工作机制类似 pt-table-sync,需要每个表都要指定一个主键,这就让我很不开心了。
生成的测试表中, 是在其他表都导完数据后,再用 CREATE...SELECT 创建的。
几个测试表的总数据量是604,637,902(6亿),创建完DTS同步任务后,经过22.5小时候,同步的数据量约为325,174,022条,完成率53.78%&#x