开源如何先不说但我有两个疑问:小议“OceanBase登顶TPC-H”

445 篇文章 3 订阅
36 篇文章 0 订阅
文章分析了OceanBase在TPC-C和TPC-H测试中夺冠的表现,指出其在OLAP领域的实际能力可能有限,尤其是在面对大规模数仓场景和复杂SQL查询时。同时,文章质疑了OceanBase解决方案的成本效益,并提出大中型数仓可能需要更专业的OLAP数据库。
摘要由CSDN通过智能技术生成

 

OceanBase上次登顶TPC-C,这次登顶TPC-H

 

【全球财经观察 | 新闻速递】近日,一篇名为《1526万QphH!蚂蚁自研数据库OceanBase登顶TPC-H权威榜单》的文章在网络上广泛传播。

文中提到,5月20日,国际事务处理性能委员会(TPC,Transaction Processing Performance Council)官网发布最新的数据分析型基准测试(TPC-H)榜单,其中,蚂蚁集团自主研发的分布式数据库OceanBase以1526万QphH的性能总分排名30,000 GB 第一。

此前,蚂蚁OceanBase在2019年和2020年均参与了事务处理型基准测试(TPC-C),并两度登顶。

 

OLTP+OLAP,鱼和熊掌真的可以兼得吗?

 

对于“OceanBase登顶TPC-H”的事情,我还是有话要说。

熟悉数据库的人都知道,联机事务处理(On-Line Transactional Processing,以下简称OLTP) 和联机分析处理(On-Line Analytical Processing,以下简称OLAP)是数据库最为广泛的两种应用方式。OLTP用在实时交易的场景,特点是高并发、SQL简单,对数据查询更新处理的时延和抖动有严苛的要求。OLAP用在实时分析的场景,特点是复杂SQL多,多为多表的联合查询,执行的时间相对较长。

所以,TPC组织有不同的测试标准TPC-C和TPC-H来分别对数据库的OLTP能力和OLAP能力来进行评判。根据应用的特点,TPC-C采用每分钟处理的事务数作为指标,TPC-H则是使用每小时执行的查询次数作为指标。近年来,众多厂商推出HTAP数据库(Hybrid Transaction and Analytical Processing,混合事务和分析处理),以实现在同一个数据库中同时进行OLTP和OLAP业务的处理,OceanBase便是其中之一。

OceanBase在TPC-C和TPC-H两项测试中都排名第一,是否意味着OceanBase可以包打天下,应对所有的数据库应用场景?我们根据TPC官网的测试报告中的详细测试数据来分析一下OceanBase的在OLAP领域的实际能力。

从TPC官网的测试报告可以看到,本次OceanBase采用了64台云服务器进行测试。每台服务器的CPU为80核,内存为768GB,存储40GB。64台服务器的总的硬件资源为5120CPU核,49152GB内存,2560GB服务器存储。同时,还使用了38000GB的OFS(OceanBase File System)存储,存储总资源达到40560GB,如图1所示OceanBase TPC-H测试硬件规模。

 

同时,TPC官网的测试报告中,还给出了本次测试软硬件的成本,3年的总体拥有成本为人民币69,336,912元,如图2所示OceanBase TPC-H测试软硬件成本。

 

在这些软硬件资源上,OceanBase在30000GB数据的测试条件下,QphH达到了15,265,305.7,实现每kQphH花费的软硬件成本为人民币4542.13元。

基于以上数据,我们可以对本次OceanBase测试做一些分析。

首先,OceanBase本次TPC-H测试的数据量为30000GB,而其使用的内存达到49152GB。OceanBase准内存库的架构,决定了本次测试的数据可以完全加载在内存,通过在内存里进行查询计算,避免磁盘I/O,从而大幅提升测试的得分。这种方式在中小规模的数仓中可以采用,但是大型数仓的数据量常常达到PB,甚至百十PB的规模,采用全内存计算的方式,会大幅提升系统总体拥有成本,用户无法承受。对于大中型规模的OLAP场景,需要寻求更为经济的解决方案。

其次,OceanBase本次参加的TPC-H测试,包含8张表,22个查询,遵循SQL92标准,属于TPC组织在OLAP领域中难度较低的测试。同为TPC组织的TPC-DS测试,包含7张事实表,17张纬度表,平均每张表含有18列,其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP,难度比TPC-H测试高很多。OceanBase本次选择参加TPC-H测试而不是TPC-DS测试,这是否已经说明其对TPC-DS测试包含的99个复杂SQL查询支持可能并不完备,只能支持相对简单的OLAP业务,并不能应用在所有的OLAP场景?

最后,因为TPC组织还考察实现每kQphH的成本,所以OceanBase采用3年预付的云服务租金来计算每kQphH的成本,按OceanBase提供的3年总体拥有成本69,336,912元,得出每kQphH成本为4542.13元。对比排名第二的每kQphH成本为744.13美元(折扣人民币4769.65)看似有一定价格优势,但是实际上硬件设备采购的折旧年限远不止3年。所以,OceanBase的解决方案是不是真的具备价格上的优势,这里是否需要打个问号?

综上所述,一是:OceanBase本次打榜,说明其在简单的OLAP场景具备了一定的应用能力,但在支撑复杂和大规模的数仓OLAP应用方面的能力如何,只是打榜TPC-H是不是不能完全说明问题。

二是:同时在解决方案的总体拥有成本上,是否还需要进一步考量优化。

这便是我的两个疑问。

因此,大中规模的数仓应用,需要更为专业的OLAP数据库来提供解决方案。

(观点分析:业内人士,阿明编辑整理)

备注:

TPC-H的数据指标: QphH(Query-per-Hour H) 这个数据指标描述了系统的复杂查询处理能力。H表示这个结果是按照TPC-H标准测得的,$/QphH 即Price/Q。

Query:为查询的意思,为了在数据库中寻找某一特定文件、网站、记录或一系列记录,由搜索引擎或数据库送出的消息。

- END-

欢迎文末评论补充!

【全球财经观察】本文和作者回复仅代表个人观点,不构成任何投资建议。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值