实战-ClickHouse
文章平均质量分 79
Clickhouse的实战
一 铭
公众号:大数据架构师修行之路
展开
-
ClickHouse 内存管理是如何实现的
本文介绍Clickhouse内存管理的实现原理。通过本文的分析,可以对Clickhouse的内存管理有一个概要的理解。原创 2023-05-03 19:19:41 · 2128 阅读 · 0 评论 -
如何优化clickhouse分布式表的join查询性能
在分布式表的Join操作中,使用异步查询可以提高Join操作的性能。在分布式表的Join操作中,设置合适的并行度可以提高Join操作的性能。在分布式表的Join操作中,选择合适的分片键可以减少跨分片Join操作的次数。通常情况下,选择Join操作中参与的表格的分片键相同或者有相关性的列作为分片键可以提高Join操作的性能。以上通过:避免跨分片Join操作、选择合适的分片键、使用本地Join、预先筛选数据、设置合适的并行度和使用异步查询等方式来优化ClickHouse分布式表的Join查询性能。原创 2023-04-28 07:15:44 · 2406 阅读 · 0 评论 -
如何删除Clickhouse表的老数据
ClickHouse提供多种方式来删除表的旧数据,从而释放磁盘空间。每种删除数据的机制针对不同的场景。原创 2023-02-23 07:23:41 · 3253 阅读 · 0 评论 -
Clickhouse实战--开窗函数的使用(1)
本文介绍了Clickhouse的窗口函数,并通过几个例子介绍了其窗口函数的基本使用。后面会继续说明其他函数的使用。原创 2022-05-05 09:28:37 · 4545 阅读 · 0 评论 -
ClickHouse实战--对接kafka
Clickhouse支持了把kafka的数据同步到数据表中,可以通过配置的方式来做到这一点。而且能保证excactly once的语意,这种机制,为实时流的处理带来了很大的方便。原创 2022-05-04 16:45:55 · 6006 阅读 · 0 评论 -
ClickHouse实战--使用ReplacingMergeTree来更新数据
本文通过一些例子介绍了如何使用ReplacingMergeTree引擎。在使用ReplacingMergeTree要注意:(1)只有相同分区的数据行才会被合并,所以,必须要注意让需要合并的数据落到相同分区中。(2)若是分布式表,还需要注意要让需要合并的数据落到相同的节点上。(3)不能频繁使用optimize操作;(4)ReplacingMergeTree有一定的适用场景,不是所有的场景,需要根据业务需要进行选择。原创 2022-05-03 17:26:16 · 4882 阅读 · 0 评论 -
Clickhouse实战--数据更新和删除概述
本文对Clickhouse的数据更新操作进行了一个概述,对更新数据的几种方式进行了说明。这几种方式的详细步骤介绍,会在新的文章中进行说明。原创 2022-05-03 17:24:36 · 8860 阅读 · 0 评论 -
ClickHouse实战--使用分布式表
本文介绍了分布式表的基本操作。包括分布式表的创建,如何向分布式表插入数据,如何更新分布式表的表结构等操作。原创 2022-05-03 15:08:38 · 10673 阅读 · 0 评论 -
Clickhouse实战-ReplacingMergeTree引擎实战
通过ReplacingMergeTree表引擎,可以自动的对表中的数据进行去重。通过这种方式,就可以批量插入数据而不需要批量更新数据,并能保证数据的版本是最新的。原创 2022-03-28 08:34:07 · 770 阅读 · 0 评论 -
ClickHouse实战--ClickHouse的主键
在ClickHouse中,存储的数据会按主键进行排序。这其实是创建了一个稀疏索引,从而可以加快数据的查询。本文介绍ClickHouse主键的作用,和排序键的关系。原创 2022-02-28 10:17:44 · 14871 阅读 · 1 评论 -
ClickHouse的bitmap使用
ClickHouse的bitmap使用bitmap的基本使用在CK中bitmap有两种构建方式,在ClickHouse的官网有说明:(1)一个是由聚合函数groupBitmapState构造的,(2)另一个是由Array Object构造的。同时还可以将位图对象转化为数组对象。bitmap实战数据和基本数据表准备创建一张基本表,一个用户表,有多个描述的维度,每个维度由该维度的唯一id。CREATE TABLE test02(id UInt16, tag1 UInt8, tag2 UInt8,原创 2021-11-27 08:42:05 · 4758 阅读 · 0 评论 -
如何调试ClickHouse源码
如何调试ClickHouse源码本文介绍ClickHouse源码的编译安装,并介绍了如何通过lldb来调试Clickhouse。安装依赖的包和工具$ brew install cmake ninja libtool gettext下载源码源码比较大,可能时间比较长一些。$ git clone --recursive https://github.com.cnpmjs.org/ClickHouse/ClickHouse.git# 若是中断可以使用以下命令$ git fetch --rec原创 2021-08-01 21:10:13 · 1385 阅读 · 0 评论