ClickHouse：入门指南

最新推荐文章于 2025-05-17 06:59:38 发布

喝醉酒的小白

最新推荐文章于 2025-05-17 06:59:38 发布

阅读量229

点赞数 4

分类专栏： DBA 文章标签： clickhouse

本文链接：https://blog.csdn.net/hezuijiudexiaobai/article/details/148009220

版权

DBA 专栏收录该内容

826 篇文章

订阅专栏

零、入门

数据存储结构

列族：在 ClickHouse 中，列族是一个逻辑概念，用于将相关的列组织在一起。每个列族可以包含多个列，这些列具有相同或相似的访问模式和存储特性。
列限定符 ：在 ClickHouse 中，列限定符是列的名称，用于标识和访问特定的列。
时间戳 ：ClickHouse 支持时间戳数据类型，可以用于记录数据的时间信息。时间戳在处理时间序列数据时非常重要，可以用于排序、过滤和聚合等操作。

面向列的查询优化

Scan ：ClickHouse 在进行查询时，会根据查询条件对列进行扫描。由于数据是按列存储的，ClickHouse 可以高效地跳过不相关的列，只扫描所需的列，从而减少磁盘 I/O 和提高查询性能。
Filter ：ClickHouse 支持在查询中使用过滤条件来限制返回的数据。由于数据是按列存储的，ClickHouse 可以快速地对列进行过滤，只返回满足条件的数据，从而提高查询效率。

ClickHouse 的数据存储结构和面向列的查询优化使其在处理海量数据和复杂的分析查询时具有很高的性能和效率。

以下是一份 ClickHouse 的入门指南，帮助你快速上手使用 ClickHouse。

一、安装 ClickHouse

1. Linux 系统（以 Ubuntu 为例）

 * 添加 ClickHouse 的 APT 仓库：
   * 运行命令：`sudo apt-get install apt-transport-Https`
   * 然后执行：`sudo wget -q "https://packagecloud.io/ClickHouse/release/script.deb.sh" -O - | sudo bash`

 * 安装 ClickHouse 服务器和客户端：
   * 执行命令：`sudo apt -y install clickhouse-server clickhouse-client`

 * 启动 ClickHouse 服务：
   * 运行：`sudo service clickhouse - server start`

 * 验证安装：
   * 使用客户端连接：`clickhouse - client`
   * 如果出现 ClickHouse 的命令行界面，说明安装成功。

2. macOS 系统

 * 使用 Homebrew 安装：
   * 安装 Homebrew（如果尚未安装）：`/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"`
   * 安装 ClickHouse：`brew install clickhouse`

 * 启动 ClickHouse 服务：
   * 启动命令：`brew services start clickhouse`

 * 验证安装：
   * 使用客户端连接：`clickhouse - client`

3. Windows 系统

 * 下载 ClickHouse 的 Windows 安装包：
   * 从 ClickHouse 官方网站（<https://clickhouse.com/>）下载适合 Windows 系统的安装包。

 * 安装 ClickHouse：
   * 双击下载的安装包，按照安装向导进行安装。

 * 启动 ClickHouse 服务：
   * 安装完成后，ClickHouse 服务会自动启动。

 * 验证安装：
   * 使用命令行工具（如 PowerShell 或 CMD）进入 ClickHouse 安装目录下的 bin 文件夹。
   * 执行 `clickhouse - client` 命令连接到 ClickHouse。

二、配置 ClickHouse

1. 配置文件位置

 * 在 Linux 系统中，默认配置文件位于 `/etc/clickhouse - server/config.xml` 和 `/etc/clickhouse - server/users.xml`。
 * 在 macOS 系统中，如果通过 Homebrew 安装，配置文件可能位于 `/usr/local/etc/clickhouse - server/config.xml` 和 `/usr/local/etc/clickhouse - server/users.xml`。

2. 修改配置

 * 可以根据需要修改配置文件，例如：
   * 修改 ClickHouse 的主机名和端口号：在 config.xml 文件中找到 `<remoteHosts>` 和 `<listenHost>` 等标签进行修改。
   * 修改用户权限和密码：在 users.xml 文件中找到对应的用户配置部分进行修改。

三、使用 ClickHouse 客户端

1. 连接到 ClickHouse

 * 在本地连接：`clickhouse - client`
 * 远程连接：`clickhouse - client --host <远程主机 IP> --port <端口号> --user <用户名> --password <密码>`

2. 基本命令

 * 查看所有数据库：`SHOW DATABASES;`
 * 创建数据库：`CREATE DATABASE <数据库名>;`
 * 切换数据库：`USE <数据库名>;`
 * 查看当前数据库中的表：`SHOW TABLES;`
 * 查看表结构：`DESCRIBE TABLE <表名>;`
 * 查看数据库中的数据库：SHOW DATABASES;
 * 查看 ClickHouse 的版本：`SELECT version();`

四、数据定义

1. 创建表

 * 创建一个简单的表：
   * 语法：`CREATE TABLE <表名> (<列名1> <数据类型>, <列名2> <数据类型>, ...) ENGINE = <引擎名>;`
   * 示例：`CREATE TABLE my_table (id Int32, name String, age Int32) ENGINE = MergeTree ORDER BY id;`

2. 数据类型

 * 常见的数据类型包括：
   * 整数类型：`Int8`、`Int16`、`Int32`、`Int64`（分别表示 8 位、16 位、32 位、64 位有符号整数），`UInt8`、`UInt16`、`UInt32`、`UInt64`（无符号整数）
   * 浮点数类型：`Float32`、`Float64`
   * 字符串类型：`String`
   * 日期和时间类型：`Date`、`DateTime`
   * 布尔类型：`UInt8`（通常用 0 表示假，1 表示真）

3. 表引擎

 * ClickHouse 提供多种表引擎，常用的有：
   * MergeTree：适合用于大规模数据的存储和查询，支持排序和索引等功能。可以根据指定的排序键对数据进行排序，并且可以进行数据分区等操作。
   * TinyLog：适用于小规模的数据存储，性能较高，但不支持分布式查询等功能。
   * Memory：将数据存储在内存中，适合用于临时数据的存储和快速查询。

五、数据导入与导出

1. 导入数据

 * 使用 INSERT 语句插入数据：
   * 语法：`INSERT INTO <表名> (<列名1>, <列名2>, ...) VALUES (<值1>, <值2>, ...), (<值1>, <值2>, ...), ...;`
   * 示例：`INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 25), (2, 'Bob', 30);`

 * 批量导入数据：
   * 可以将数据存储在 CSV 文件中，然后使用 ClickHouse 的命令行工具导入数据。命令示例：`cat data.csv | clickhouse - client - m 'INSERT INTO my_table FORMAT CSV'`

2. 导出数据

 * 查询数据并导出为 CSV 格式：
   * 语法：`SELECT * FROM <表名> FORMAT CSV;`
   * 可以将输出重定向到文件，如：`clickhouse - client - q "SELECT * FROM my_table FORMAT CSV" > data.csv`

六、数据查询

1. 基本查询

 * 查询表中的所有数据：`SELECT * FROM <表名>;`
 * 查询指定列的数据：`SELECT <列名1>, <列名2> FROM <表名>;`
 * 添加条件过滤数据：`SELECT * FROM <表名> WHERE <条件表达式>;`
 * 对查询结果进行排序：`SELECT * FROM <表名> ORDER BY <列名> [ASC | DESC];`

2. 聚合查询

 * 使用聚合函数进行数据统计：
   * 常见的聚合函数有：`COUNT()`（计算行数）、`SUM()`（计算总和）、`AVG()`（计算平均值）、`MAX()`（计算最大值）、`MIN()`（计算最小值）
   * 示例：`SELECT department, COUNT(*) AS employee_count FROM employees GROUP BY department;`
   * 可以结合 HAVING 子句对聚合结果进行进一步过滤，如：`SELECT department, COUNT(*) AS employee_count FROM employees GROUP BY department HAVING employee_count > 10;`

3. 查询优化

 * 使用索引：合理设计表的索引可以提高查询性能。在 ClickHouse 中，可以利用 MergeTree 引擎的排序键等功能来优化查询。例如，在创建表时指定合适的排序键，使得查询时可以快速定位数据。
 * 避免全表扫描：尽量在查询中使用条件过滤和索引，减少需要扫描的数据量。
 * 使用 EXPLAIN 语句查看查询计划：可以帮助你了解查询的执行方式，从而优化查询语句。例如，执行 `EXPLAIN SELECT * FROM my_table WHERE id = 10;` 可以查看该查询的执行计划。

七、数据更新与删除

1. 更新数据

 * 使用 ALTER TABLE 语句更新表结构：
   * 例如，添加一列：`ALTER TABLE my_table ADD COLUMN new_column Int32;`
   * 修改列的数据类型：`ALTER TABLE my_table MODIFY COLUMN age UInt32;`

 * 更新表中的数据：
   * ClickHouse 不像传统的关系型数据库那样支持直接的 UPDATE 语句来更新数据。对于 MergeTree 引擎的表，可以通过以下方式更新数据：
     * 使用 `ALTER TABLE ... UPDATE` 语句。例如：`ALTER TABLE my_table UPDATE age = age + 1 WHERE id = 1;`（需要注意的是，这种更新操作会生成一个新的数据部分，并且需要满足一定的条件，如表引擎为 MergeTree 等）

2. 删除数据

 * 删除表中的数据：
   * 同样，对于 MergeTree 引擎的表，可以使用 `ALTER TABLE ... DELETE` 语句。例如：`ALTER TABLE my_table DELETE WHERE id = 1;`
   * 但是，这种删除操作并不是立即物理删除数据，而是会生成一个删除标记，后续通过数据合并等操作来清理数据。

 * 删除表：`DROP TABLE <表名>;`

八、ClickHouse 的高级功能

1. 分区功能

 * 可以对表进行分区，将数据按照一定的规则（如日期）划分到不同的分区中。例如，在创建 MergeTree 引擎的表时，可以指定分区键：`CREATE TABLE my_table (id Int32, date Date) ENGINE = MergeTree PARTITION BY toYYYYMM(date) ORDER BY id;` 这样数据会按照年月进行分区，方便进行数据管理和查询优化，例如可以快速删除或查询某个时间段的数据分区。

2. 物化视图

 * 物化视图可以基于原始表的数据自动维护一个视图表，并且在原始表数据更新时，视图表也会相应更新。例如：`CREATE MATERIALIZED VIEW mv_example ENGINE = MergeTree ORDER BY id AS SELECT id, name, age * 2 AS double_age FROM my_table;` 这样每次查询物化视图时，可以直接获取到更新后的数据，而不需要在查询时进行复杂的计算，提高了查询效率。

3. 实时数据摄入与处理

 * ClickHouse 支持实时数据的摄入，可以与消息队列（如 Kafka）等工具集成。通过设置 Kafka 表引擎，可以实时消费 Kafka 中的数据并存储到 ClickHouse 中。例如：`CREATE TABLE kafka_table (id Int32, message String) ENGINE = Kafka SETTINGS kafka_broker_list = 'localhost:9092', kafka_topic_list = 'my_topic', kafka_group_name = 'my_group', kafka_format = 'JSONEachRow';` 然后可以使用 `CREATE MATERIALIZED VIEW` 将 Kafka 中的数据实时写入到 MergeTree 引擎的表中进行存储和查询。

4. 分布式查询

 * ClickHouse 支持分布式查询，可以通过创建分布式表来实现。分布式表本身不存储数据，而是将查询分发到多个远程服务器上的子表进行处理，然后汇总结果。例如：`CREATE TABLE distributed_table (id Int32, name String) ENGINE = Distributed('cluster_name', 'database_name', 'local_table_name', rand());` 这样在查询 distributed_table 时，ClickHouse 会将查询分发到集群中的各个节点上的 local_table_name 表进行查询，并将结果汇总返回。

九、性能调优

1. 硬件资源优化

 * 根据数据量和查询需求合理配置服务器的硬件资源，如增加内存、使用高速存储设备（如 SSD）等。ClickHouse 对内存的利用比较敏感，足够的内存可以提高数据缓存和查询性能。

2. 数据模型设计优化

 * 合理设计表结构，选择合适的排序键、分区键等。例如，对于时间序列数据，按照时间字段进行排序和分区，可以提高查询效率。同时，尽量减少表之间的连接操作，或者优化连接条件，因为 ClickHouse 在处理大规模数据连接时可能会比较耗时。

3. 查询优化技巧

 * 避免在查询中使用过多的复杂计算和嵌套子查询，尽量将计算逻辑简化。使用预计算或者物化视图来存储常用的结果集，减少重复计算。例如，对于经常需要查询的聚合结果，可以预先计算并存储在一个物化视图中，然后直接查询该视化视图。

4. 配置参数调优

 * 可以根据实际情况调整 ClickHouse 的配置参数，如调整内存限制、线程数等。例如，在 config.xml 文件中修改 `<max_memory_usage>` 参数来限制单个查询使用的最大内存，防止内存溢出。同时，合理设置 `<max_threads>` 参数来控制查询的并发线程数，以平衡查询性能和系统资源占用。

十、监控与维护

1. 监控指标

 * 监控 ClickHouse 的性能指标，如查询执行时间、吞吐量、内存使用率、磁盘 I/O 等。可以通过 ClickHouse 提供的系统表（如 system.metrics、system.events 等）来获取这些指标信息。例如，查询当前的查询执行时间分布：`SELECT query_duration_ms, count() FROM system.query_log GROUP BY query_duration_ms ORDER BY query_duration_ms;`

2. 日志分析

 * 分析 ClickHouse 的日志文件（通常位于 `/var/log/clickhouse - server/` 目录下），查看错误信息、查询执行日志等，以便及时发现和解决问题。例如，查看错误日志：`cat /var/log/clickhouse - server/error.log`

3. 定期维护

 * 定期对 ClickHouse 进行维护操作，如优化表、清理过期数据等。可以使用 `OPTIMIZE TABLE` 语句来对 MergeTree 引擎的表进行优化，合并小的数据部分，提高查询性能。例如：`OPTIMIZE TABLE my_table FINAL;` 同时，根据数据保留策略，定期删除过期的数据，释放存储空间。

通过以上入门指南，你可以初步掌握 ClickHouse 的安装、配置、数据操作和基本的性能调优等知识，为进一步深入学习和使用 ClickHouse 打下基础。在实际使用过程中，可以根据具体的业务需求和数据特点，不断探索和优化 ClickHouse 的应用方式。