clickhouse代替mysql_Clickhouse,TiDB,Greenplum哪个更适合作为AWS redshift 的替代品?

Greenplum在数据导入、简单查询和复杂GROUP查询上的性能优于AWS Redshift,大约快一倍。尽管如此,Redshift的interleaved sort key设计可能导致更多的data block扫描,影响性能。此外,MPP数据仓库如Redshift和Greenplum在处理PB级数据时面临架构局限,包括节点分布、并发性能和数据resharding的问题。DolphinDB作为一种分布式时序数据库,对于大数据量、高实时性的场景,其性能表现优于Redshift和Greenplum。
摘要由CSDN通过智能技术生成

Greenplum无疑是跟AWS Redshift最接近的。理由前面的回答已经非常详尽,不再赘述。

没有直接在相同的硬件设备和相同的数据集上比较过Redshift和Greenplum,但是做过间接的比较。也就是说Greenplum和AWS Redshift分别和第三方产品(实际上是我司的分布式时序数据库产品DolphinDB)在相同的硬件设备和相同的数据集上做过比较。从间接比较的结果来看,Greenplum无论从数据导入,简单查询,相对复杂的group查询,Greenplum的性能都比AWS Redshift要好,大概在1倍左右。

没有经过广泛的测试,这个性能差异可能只跟我们测试用的数据集和任务有关,不具有广泛意义,仅供参考。我们的测试的原始数据量在400~500G之间(没有压缩之前),数据为纽约证券交易所2007年8~9月两个月的tick level股票报价数据,每天的记录数在2~5亿条,字段10个。查询测试的主要数据维度两个时间和股票。我们当时测试完后,做了分析,结论是跟分区机制有关。

AWS Redshift支持distribution key和sort key,但不支持在节点内进一步分区。Greenplum支持distribution key, partition key和sort key。AWS Redshift可以按某一字段的hash值在node(slice)上distribution,相当于按照这个字段在节点层面做了哈希分区。但是当数据量较大时,一个slice上的数据量仍然很大,AWS Redshift不支持进一步分区,只能采用sort key。在我们的测试案例中,需要的sort key有两个,一个是日期,一个是股票代码。一个做法是使用compound sort key。compound sort k

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值