大数据面试通关手册 | ClickHouse基础&实践&调优全视角解析

本文详细介绍了ClickHouse,一个高性能的开源数据库管理系统,主要用于在线分析处理(OLAP)。文章强调了其在大数据场景下的优势,如列式存储、SQL支持、分布式查询和实时数据更新。内容涵盖了ClickHouse的配置文件,包括数据路径、日志、集群、字典和用户设置,以及如何处理直接写入风险。此外,还讨论了MergeTree系列引擎,ClickHouse表引擎的选择,以及在推荐系统和广告投放实时数据场景的应用和性能优化策略。
摘要由CSDN通过智能技术生成

Clickhouse 是一个高性能且开源的数据库管理系统,主要用于在线分析处理 (OLAP) 业务。它采用列式存储结构,可使用 SQL 语句实时生成数据分析报告,另外它还支持索引,分布式查询以及近似计算等特性,凭借其优异的表现,ClickHouse 在各大互联网公司均有广泛地应用。

Why ClickHouse

首先我们来看一下OLAP 场景下的关键特征。

1.大多数数据库访问都是读请求。
2.数据总是以批量形式写入数据库(每次写入大于 1000 行)。
3.已添加的数据一般无需修改。
4.每次查询都从数据库中读取大量的行,但是同时又仅需少量的列。
5.数据表多为宽表,即每个表均包含着大量的列。
6.查询量一般较少(非高并发,通常每台服务器每秒约有数百个查询或更少)。
7.对于简单查询,允许的延迟大约为 50 毫秒(响应时间要迅速)。
8.列中的数据相对较小,一般为数字或短字符串。
9.处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)。
10.事务不是必须的。
11.对数据一致性要求低。
12.查询结果明显小于源数据,换句话说,数据被过滤或聚合后能够被存放在单台服务器的内存中。

可以看到,OLAP 业务场景与其它流行的业务场景如 OLTP 等有很大的不同,使用 OLTP 数据库或 Key-Value 数据库去处理分析查询业务将会获得非常差的性能,而且没有任何意义。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值