clickhouse
文章平均质量分 78
大数据玩家
致力于大数据源码研究、底层原理研究!
展开
-
clickhouse新特性:Projection (版本:21.6+)
一.解决目前以下痛点:1)建表时只支持一种排序方式(order by)建表的时候,Order By 同时决定了主键稀疏索引和数据的排序,假设 :Order BY A,B,C那么通常过滤查询 Where A 会很快,但是 Where C 会慢一些。2)ClickHouse物化视图无一致性保证,在明细表里做聚合查询和在物化表里做聚合查询出来的结果可能不一样3)用户在数据查询的场景中,会有着一定的使用习惯。比如,每天定时都会查看一些特定的图表。这些图表中包含全量的数据统计,复杂的数据原创 2021-09-24 16:55:38 · 664 阅读 · 0 评论 -
clickhosue配置详解-load_balancing
一、需求 四台服务器 32C 128G 4分配,2副本 ,每台机2个节点,互为副本 因为默认的 load_balancing 采用随机的方式,所以我们会出现当一个sql查询的时候,一台机的2个节点内存都会涨起来,有时候会因为内存超过了操作系统的限制,导致ck服务被杀掉。 查阅文档,发现 load_balancing 有五个属性(random / neare...原创 2021-04-02 11:48:28 · 1291 阅读 · 0 评论 -
Clickhouse集群部署(两分片两副本)
1、部署环境及版本说明以下部署配置按照生产环境为例进行安装。 操作系统 配置 IP 版本 Centos8 32C 128G 192.168.2.101 clickhouse_20.9.6.14 zookeeper-3.6.2 Centos8 32C 128G 192.168原创 2020-12-07 10:40:19 · 3452 阅读 · 0 评论 -
Clickhouse之物化视图
前言 使用过ClickHouse的开发者都知道,ClickHouse能够使用向量化计算快速得出结果,但是并发量不高。如何解决呢?其实我们可以引入物化视图这个概念来解决。作用同一个表需要建立不同的索引粒度,提前预聚合 降低查询速度,提高并发量 降低服务的查询压力,cpu使用率平缓利用使用教程1.创建本地表CREATE TABLE if not exists exit \( \ app_id String, \ view_id UInt64,...原创 2020-05-25 18:02:40 · 3971 阅读 · 0 评论 -
ClickHouse分布式IN & JOIN 查询的避坑指南
一、前言 当数据表包含多个分片的时候,我们需要将普通的本地查询转换为分布式查询。当然,这个转换动作是不需要用户自己进行的,在ClickHouse里面会由Distributed表引擎代劳。Distributed表引擎的定位就好比是一个分表的中间件,它本身并不存储数据,而是分片的代理,能自动的将SQL查询路由到每个分片。 当我们面对Distributed表引擎查询的...原创 2020-04-22 16:23:18 · 13014 阅读 · 2 评论 -
基于ClickHouse玩转每天1000亿数据量
1、为什么选择clickhouse? 足够快,在选择clickhouse以前我们也有调研过presto、druid等方案,presto的速度不够快,无法在5分钟内完成这么多次的查询。 druid的预计算挺好的,但是维度固定,我们的指标的维度下钻都是很灵活的,并且druid的角色太多维护成本也太高,所以也被pass了。 最终我们选择了clickhouse,...原创 2020-01-10 19:02:25 · 3648 阅读 · 0 评论 -
clickhouse之zabbix监控(三台物理机六个节点)
一、节点信息概述 server1: shard1(9001端口) shard3副本(9002端口) server2: shard2(9001端口) shard1副本(9002端口) server4: shard3(9001端口) shard2副本(9002端口)二、前期准备1)xmllint安装 下载地...原创 2019-09-24 16:08:21 · 2241 阅读 · 0 评论