大数据
AAEllisonPang
日拱一卒无有尽,功不唐捐终入海.
展开
-
ClickHouse 的 MergeTree 引擎有哪些性能优势?
索引是稀疏的,这意味着不是每行数据都有一个索引条目,而是每隔一定的数据量(由 index_granularity 控制)创建一个索引条目,这样可以在保持索引较小的同时快速定位数据。11. 数据标记和稀疏索引的协同工作:MergeTree 使用数据标记文件(.mrk)和稀疏索引协同工作,快速定位到具体的数据块,提高查询效率。6. 多版本并发控制(MVCC):MergeTree 支持数据的多版本控制,允许旧数据版本在后台合并过程中存在,而不会影响新数据的写入和查询。原创 2024-09-30 11:13:37 · 262 阅读 · 0 评论 -
Clickhouse分布式表初体验
需要注意的是,分布式表的写入操作默认是异步的,可能会在短时间内造成数据的不一致性。这里`ck_cluster_name`是集群名称,`test_db`是数据库名称,`city_local`是本地表名称,`rand()`是一个分片键,用于数据的随机分布。使用`Distributed`引擎创建一个分布式表,它不会存储数据,而是将查询和写入操作代理到本地表。分布式表本身不支持直接的`UPDATE`和`DELETE`操作,这些操作需要在本地表上执行。这会返回所有分片上的`city_all`表的数据。原创 2024-09-30 10:03:04 · 337 阅读 · 0 评论 -
事实表分为三类:事务事实表,周期快照事实表,累计事实表
维度建模中,事实表分为三类:事务事实表,周期快照事实表,累计事实表,他们维度一致,但功能要求和描述的业务事实存在巨大差异。原创 2024-09-30 09:49:29 · 270 阅读 · 0 评论