clickhouse
TaiKuLaHa
这个作者很懒,什么都没留下…
展开
-
Clickhouse Join
哈希连接算法速度快,是最通用的算法,支持所有连接类型和严格性设置,但内存哈希表的创建是单线程的,如果右侧表非常大,就会成为瓶颈。Grace哈希连接算法是一种非内存限制版本,它将输入数据分割成多个数据桶,其中一些数据桶先存到到磁盘,然后在内存中按顺序处理。ClickHouse中的Hash Join, Parallel Hash Join, Grace Hash Join。并行哈希连接算法通过同时创建多个哈希表,在右侧表很大的情况下速度更快,但需要更多内存。原创 2023-11-30 10:08:32 · 704 阅读 · 0 评论 -
Bitmap64为什么比bitmap32慢
https://www.bilibili.com/video/BV1vU4y1q7KR/?spm_id_from=333.788&vd_source=fa36a95b3c3fa4f32dd400f8cabddeaf原创 2022-12-20 20:36:12 · 879 阅读 · 0 评论 -
Clickhouse JOIN
然而,在当前的execution engine设计下,实现distributed hash join并不容易,核心难点是:clickhouse从SQL->AST->QueryPlanStep->QueryPlan->QueryPlanExecutor都是单机模型的设计,分布表的支持通过在Storage层通过Proxy实现SQL改写、远程执行、本地merge实现。因此,对于分布式表的join/in算子这里存在比较大的坑,参考。原创 2022-11-20 00:23:10 · 266 阅读 · 0 评论 -
Clickhouse Explain
https://blog.csdn.net/SpringBoots/article/details/121104675原创 2022-11-09 11:09:17 · 151 阅读 · 0 评论 -
Clickhouse 字典
字典更新(除首次使用的加载之外)不会阻止查询。在更新期间,将使用旧版本的字典。如果在更新过程中发生错误,则将错误写入服务器日志,并使用旧版本的字典继续查询。您可以设置升级的时间间隔,ClickHouse将在此范围内选择一个统一的随机时间。为了在大量服务器上升级时分配字典源上的负载,这是必要的。ClickHouse定期更新字典。完全下载字典的更新间隔和缓存字典的无效间隔在 在几秒钟内标记。原创 2022-11-08 00:12:13 · 141 阅读 · 0 评论 -
ClickHouse-Keeper
ClickHouse 社区在 21.8 版本中开始引入了 ClickHouse-Keeper ,直至 ClickHouse 21.12 发布公告提到 ClickHouse Keeper 功能基本完成。ClickHouse Keeper 是 ZooKeeper 的替代品,与 ZooKeeper 不同,ClickHouse Keeper 是用 C++ 编写的,并使用 RAFT 算法实现,该算法允许对读写具有线性化能力。原创 2022-10-30 16:33:15 · 1044 阅读 · 0 评论 -
Clickhouse ZK zk_outstanding_requests
https://www.cnblogs.com/allenhaozi/p/11416817.html原创 2022-10-21 15:18:33 · 223 阅读 · 0 评论 -
clickhouse merge
启发式算法的策略则是优先选择IO开销最小的Data Parts区间完成合并,尽快合并掉小数据量的Data Parts是对在线查询最有利的方式,数据量很大的Data Parts已经有了很较好的数据压缩和索引效率,合并操作对查询带来的性价比较低。TTL策略也非常简单,首先挑选出TTL超时最严重Data Part,把这个Data Part所在的数据分区作为要进行数据合并的分区,最后会把这个TTL超时最严重的Data Part前后连续的所有存在TTL过期的Data Part都纳入到merge的范围中。原创 2022-10-17 19:01:16 · 1353 阅读 · 0 评论 -
Clickhouse projection
projection原创 2022-08-31 16:25:20 · 124 阅读 · 0 评论 -
clickhouse运维常用语句
Clickhouse原创 2022-08-29 15:56:02 · 480 阅读 · 0 评论 -
Linux Clickhouse安装和卸载
clickhouse原创 2022-08-29 15:11:32 · 733 阅读 · 0 评论 -
Clickhouse中ZK的作用
clickhouse zk的作用原创 2022-08-15 21:11:18 · 1176 阅读 · 0 评论 -
【笔记】京东云原生ClickHouse 架构演进之路
主要结束Clickhouse二次开发,方便运维原创 2022-08-03 19:22:12 · 130 阅读 · 0 评论 -
【笔记】从ES到ClickHouse:B站海量日志分析场景迁移的实践与思考
【笔记】从ES到ClickHouse:B站海量日志分析场景迁移的实践与思考原创 2022-08-03 13:05:28 · 454 阅读 · 0 评论 -
Clickhouse相关 LSM
Clickhouse用到LSM技术原创 2022-08-02 12:36:20 · 234 阅读 · 0 评论 -
Clickhouse Global Join
Clickhouse Global join原创 2022-06-15 20:52:27 · 622 阅读 · 0 评论 -
【clickhouse查询优化】distributed_group_by_no_merge
https://www.bianchengquan.com/article/339806.html原创 2022-03-18 20:53:49 · 1091 阅读 · 0 评论 -
【clickhouse】ck写入分布式还是本地表
不写分布式表的原因#分布式表接收到数据后会将数据拆分成多个parts, 并转发数据到其它服务器, 会引起服务器间网络流量增加、服务器merge的工作量增加, 导致写入速度变慢, 并且增加了Too many parts的可能性.数据的一致性问题, 先在分布式表所在的机器进行落盘, 然后异步的发送到本地表所在机器进行存储,中间没有一致性的校验, 而且在分布式表所在机器时如果机器出现down机, 会存在数据丢失风险.数据写入默认是异步的,短时间内可能造成不一致.对zookeeper的压力比较大(待验证)原创 2022-03-17 15:35:33 · 792 阅读 · 0 评论 -
【clickhouse】clickhouse MergeTree
https://www.jianshu.com/p/3fb899684392原创 2022-03-11 11:54:50 · 98 阅读 · 0 评论 -
【clickhouse】看板数据使用Clickhouse还是Elasticsearch
独家深度 | 一文看懂 ClickHouse vs Elasticsearch:谁更胜一筹? https://segmentfault.com/a/1190000039919389原创 2022-03-08 11:07:12 · 1788 阅读 · 0 评论 -
【clickhouse】clickhouse读写
写过程以INSERT操作为例,假设R1和R2是两个副本名称,在R1节点上执行插入操作,其核心流程如下:在本地执行分区目录的写入,想zk的blocks目录下写入该分区的block_id然后由副本R1向zk上的/log目录推送操作日志,日志的内容如图:表示操作内容为get下载,需要下载的分区是202110152110_1327_1327_0R2会一直监听/log节点,监测到有日志变化,就会从log里读取任务,但不会立刻执行,而是将任务放置到自己目录下的队列里,这样设计时为了避免同时收到多个操作请求的原创 2022-03-03 20:39:22 · 746 阅读 · 0 评论 -
【clickhouse】初识
https://mp.weixin.qq.com/s/xh1DyWD_WIDRRhKOW28-wQ1 CK为什么快上图列举了包含count、sum、group by、order by等情况的查询对比,同等条件下,ClickHouse的查询性能异常强悍:是MySQL的839倍是Greenplum的24倍是Vertica的5倍那么,ClickHouse 为什么能这么快呢?下面我就带大家来一起揭开它的神秘面纱:1 列式存储与高效的数据压缩ClickHouse为了处理大数据量,同样选择了列式存储,这原创 2022-03-03 20:23:00 · 1111 阅读 · 0 评论 -
【clickhouse】常用查询语句
查询存储Top10表,可以用来数据治理SELECT database, table, ((sum(bytes_on_disk) / 1024) / 1024) / 1024 AS size_gbFROM system.partsGROUP BY database, tableORDER BY size_gb DESCLIMIT 10获取节点(不是分片)存储使用情况SELECT sum(rows) AS `总行数`, formatRea原创 2022-02-25 16:53:31 · 2477 阅读 · 0 评论