ClickHouse
Quinto0
Learning is the highest
展开
-
ClickHouse的特性及读写
1 ClickHouse特性 OLAP数据库一般有2个要求:①容量要比关系型数据库大,②在线查询的速度要快。ClickHouse这两点都满足并且还支持标准的sql,支持比较复杂的语句,支持分布式。ClickHouse的几个显著特点如下: (1)列式存储 列式存储的优点:①列式存储不同于行式存储,以行为单位进行存储,行式存储更变故搜索查询。列式存储以列为单位进行存储,这样更适合做聚合计算,如求和是针对一列的数据进行求和,这一列的数据又放在一起。②行式存储每个字段类型不一致,列式存储不同的类型是不在原创 2020-09-25 12:12:35 · 5982 阅读 · 1 评论 -
ClickHouse常见问题及其解决方案
1 概述 在对ClickHouse进行分布表+复制表+zookeeper保证高可用的情况下进行性能测试时遇到如下坑,进行整理2 分布表join问题Unknown identifier: LO_CUSTKEY, context:…1.1 问题描述 SQL如下:SELECT count(1)FROM performance.line_all AS c LEFT JOIN performance.customer_all AS l ON l.C_CUSTKEY = c.LO_CUSTKEY原创 2020-05-29 07:52:56 · 43767 阅读 · 2 评论 -
ClickHouse表引擎之Integration系列
Integration系统表引擎主要用于将外部数据导入到ClickHouse中,或者在ClickHouse中直接操作外部数据源。1 Kafka1.1 Kafka引擎 将Kafka Topic中的数据直接导入到ClickHouse。 语法如下:CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],原创 2020-05-24 21:01:27 · 2106 阅读 · 0 评论 -
ClickHouse高可用及副本测试
1 概述 对于默认的分布式表的配置,每个分片只有一份,这种多分片单副本集群,挂掉一个节点的话查询分布式表会报错。为了解决这个问题的话可以使用ClickHouse高可用集群,对于每个分片具有2个或2个以上的副本,当某个节点挂掉时,该节点分片由其他节点的副本代替工作,这就避免了单点故障的问题。下面测试节点分别为:ambari01,ambari02,ambari03,ambari04 说明:下面的测试都是以internal_replication=true进行的。internal_replicatio原创 2020-05-22 22:48:08 · 3519 阅读 · 0 评论 -
ClickHouse表引擎
1 概述 表引擎在ClickHouse中的作用十分关键,表引擎有如下作用: (1)数据如何存储,存在哪,数据写到哪, 怎样读取数据; (2)支持哪些查询以及如何支持; (3)并发数据访问; (4)索引的使用; (5)是否可以执行多线程的请求; (6)数据如何同步。2 表引擎系列2.1 MergeTree系列 MergeTree系列是对于高负载任务的最通用和最实用的表引擎。这些引擎共享的属性是快速数据插入和后续的后台数据处理。想要高效地一批批写入数据片段,并原创 2020-05-22 22:23:15 · 3098 阅读 · 0 评论 -
ClickHouse入门
1 什么是ClickHouse ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),他的优势就是快,每秒处理的数据量特别大,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。 与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:列式存储数据库,数据压缩;关系型、支持SQL;分布式并行计算,把单机性能压榨到极限;高可用;数据量级在PB级别。适用场景:日志数据的行为分析,标签画像的分析,数据集市层分析原创 2020-05-22 22:20:15 · 1777 阅读 · 0 评论