ClickHouse使用分析

目录

1.安装与使用

1.1 单机快速下载

1.2 使用安装包

1.3 可视化工具

2.核心特性与适用场景

2.1 OLAP

2.2 列式数据库

2.3 向量化引擎

2.4 其他特性

2.5 ClickHouse适用的场景

2.6 ClickHouse不适用的场景

3.数据结构

3.1 文件结构

3.2 分区

3.3 列式存储与数据压缩

3.4 索引

    3.4.1 一级索引

    3.4.2 二级索引

3.5 数据标记

3.6 结构优势

3.7 其他引擎

3.8 常用sql

SELECT

SAMPLE

JOIN

聚合函数

4.性能分析

---

1.安装与使用

1.1 单机快速下载

curl https://clickhouse.com/ | sh

会根据系统下载一个四百多M大小的可执行文件，然后通过以下命令进行启动

启动服务 ./clickhouse server 启动客户端 ./clickhouse client

这种方法不会生成全局可执行文件，也没有users.xml配置文件

1.2 使用安装包

官网为不同系统都提供了安装包，在官网找到适合的安装包即可下载，我们的linux服务器可以下载rpm或者tgz的安装包

安装包有四个文件

• clickhouse-common-static — ClickHouse编译的二进制文件。
• clickhouse-server — 创建clickhouse-server软连接，并安装默认配置服务
• clickhouse-client — 创建clickhouse-client客户端工具软连接，并安装客户端配置文件。
• clickhouse-common-static-dbg — 带有调试信息的ClickHouse二进制文件。

全部下载解压执行文件中的安装脚本。

也可以使用yum命令进行安装

yum install -y yum-utils yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo yum install -y clickhouse-server clickhouse-client /etc/init.d/clickhouse-server start //运行服务器 clickhouse-client //运行客户端

安装后的相关目录

#  命令目录 /usr/bin ll |grep clickhouse ------------------------------------------- # 配置文件目录 cd /etc/clickhouse-server/ ------------------------------------------- # 日志目录 cd /var/log/clickhouse-server/ ------------------------------------------- # 数据文件目录 cd /var/lib/clickhouse/ -------------------------------------------

在配置文件目录下有config.xml和users.xml

config.xml可以配置服务器相关配置

users.xml可以配置用户权限

总体来说安装非常简单

1.3 可视化工具

通过clickhouse client可以执行sql，也可以使用可视化工具DBeaver，下载地址DBeaver Community | Free Universal Database Tool

idea也可以连接clickhouse

2.核心特性与适用场景

  ClickHouse是一款MPP(大规模并行处理)架构的列式存储数据库，其具有ROLAP、在线实时查询、完整的DBMS、列式存储、不需要任何数据预处理、支持批量更新、拥有非常完善的SQL支持和函数、支持高可用、不依赖Hadoop复杂生态、开箱即用等许多特点。

2.1 OLAP

OLAP名为联机分析，它指的是通过多种不同的维度审视数据，进行深层次分析。

有几种分类，大致分为ROLAP（Relational OLAP，关系型OLAP），

第二类架构称为MOLAP（Multidimensional OLAP，多维型OLAP） ，

其核心思想是借助预先聚合结果，使用空间换取时间的形式最终提升查询性能，

第三类架构称为HOLAP（Hybrid OLAP，混合架构的OLAP）是ROLAP和MOLAP两者的集成。

ClickHouse就是既使用ROLAP模型，同时又拥有比肩MOLAP的性能。

2.2 列式数据库

列式存储和数据压缩，对于一款高性能数据库来说是必不可少的特性。想让查询变得更快，最简单且有效的方法是减少数据扫描范围和数据传输时的大小，而列式存储和数据压缩就可以帮助我们实现上述两点。按列存储与按行存储相比，前者可以有效减少查询时所需扫描的数据量。这里有官网的示例图片，可以更直观的理解这两种方式对于OLAP场景的差异。