Clickhouse快速上手原理篇

最新推荐文章于 2024-07-29 08:38:05 发布

Witness__

最新推荐文章于 2024-07-29 08:38:05 发布

阅读量617

点赞数

分类专栏：数据开发

本文链接：https://blog.csdn.net/qq_24531389/article/details/115425752

版权

本文介绍了Clickhouse作为OLAP数据库在应对数据量增长时的优势，对比了与Greenplum的性能。Clickhouse采用多主对等架构，MergeTree引擎提供高效查询。分布式表引擎实现数据分布与查询，主键索引、分区索引与后台合并优化读取效率。文中还讨论了Clickhouse在实际应用中的数据更新策略。

摘要由CSDN通过智能技术生成

1. 背景

公司目前使用Greenplum作为报表实时聚合查询的OLAP数据库，当时主要是其使用门槛相对较低，同时支持事务，能在用户访问时候事务更新数据，使用云厂商的产品，技术支持也不错，但随着报表单表数据量由去年十月份的6G/月到现在的60G/月，尽管我们做了很多优化，索引 + 列存 + 优化查询 + 分析慢查询执行计划等。。。在查询的时间跨度达到3个月时候，单条查询计算需要超过10s才能返回，在并发场景下，有些需要1min多才能返回，这样严重影响了用户体验，可能用户没有看到结果就切换界面了。同时对于Greenplum这样的主从架构，由于master能力上限，最大的扩展节点也有一定的限制（目前不超过50），所以我们也在寻找其替代产品，这里要讲到的就是Clickhouse

2. 开始

决定要不要上手，最关键的指标是速度，我们在4台 CVM上安装了Clickhouse,并创建了4分片0副本配置（这里只是为了测试速度，并不考虑容错），同时建表导入我们最大的报表一个月的数据，与6节点的Greenplum集群在同等数据量，同SQL的情况下做测试，单条sql以及10线程并发情况下，clikchouse返回速度达到Greenplum十倍,自此，我们决定将来会使用Clickhouse。(这里云厂商提供的greenplum版本为6.x,clickhouse我们自己搭建版本为21.2.3.15)