ClickHouse介绍和使用

已于 2025-04-02 11:08:59 修改
阅读量6.3k 收藏 11
点赞数 2
分类专栏： 数据库 文章标签： 数据库 centos linux
于 2021-09-20 09:16:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43790613/article/details/120381589
版权

文章目录

概述

什么是clickhouse

ClickHouse是开元的列式存储数据库（DBMS），主要用于在线处理查询（OLAP），能够使用SQL查询实时生成数据分析报告。

安装前的准备

Centos取消打开文件数限制

在/etc/security/limits.conf、/etc/security/limits.d/20-nproc.conf这两个文件的末尾加入一下内容：
*代表用户名@用户组

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

重启服务器之后生效，可以用ulimit -n查看是否生效，默认为1024，看是否修改成了添加的内容的数字

取消SELINUX

修改/etc/selinux/config中的SELINUX=disabled后重启

取消防火墙

安装依赖

yum install -y libtool
yum install -y *unixODBC*

在线安装命令

rpm包下载地址

下面的是在线下载rpm包，上面的是安装命令，
一共需要下载

  • clickhouse-client-23.9.6.20.x86_64.rpm
  • clickhouse-common-static-23.9.6.20.x86_64.rpm
  • clickhouse-server-23.9.6.20.x86_64.rpm
  • clickhouse-common-static-dbg-23.9.6.20.x86_64.rpm

下载上传到服务器后直接使用sudo rpm -ivh *.rpm安装
安装中途会让其设置default账号的密码，测试环境直接设置成123456即可。

启动命令

  • 启动：systemctl start clickhouse-server
  • 状态查看：systemctl status clickhouse-server
  • 停止服务：systemctl stop clickhouse-server
  • 重启服务：systemctl restart clickhouse-server

修改配置文件

默认安装的配置文件为/etc/clickhouse-server/config.xml，但是配置文件默认为只读，需要修改下权限才能修改，不要设置成777，设置成可写即可，因为当修改了时区时重启没有生效，只有修改了配置文件权限不是777时重启才生效了。

  • listen_host：监听的ip，可以直接设置成0.0.0.0，所有网络接口都可以连接
  • timezone：这个必须修改，如果不修改，使用kafka的引擎读取kafka的数据时，数据字段有时间转换成Clickhouse的时间类型时会有误差，因为默认的为UTC时间，需要修改成<timezone>Asia/Shanghai</timezone>

客户端修改链接配置

客户端连接工具：
dbeaver
连接时候回报错，因为dbeaver 连接clickhouse端口是8123
而clickhouse 命令：clickhouse-client 连接的地址是：localhost:9000 端口
此时需要对config.xml
配置： <listen_host>::</listen_host>

卸载命令

# 卸载及删除安装文件（需root权限）
yum list installed | grep clickhouse
 
yum remove -y clickhouse-common-static
 
yum remove -y clickhouse-server-common
 
rm -rf /var/lib/clickhouse
 
rm -rf /etc/clickhouse-*
 
rm -rf /var/log/clickhouse-server

使用

配置文件

config.xml配置文件在clickhouse-server下，一般在/etc/clickhouse-server目录下，配置文件中有log日志的路径，可通过搜索logger节点

客户端命令

  • 登录命令
clickhouse-client -u username --password='password'

–host ,-h :服务端的host名称
–port ：连接的端口号，默认是9000
–user -u :用户名，默认值为default
–password ：密码，默认值空字符串

数据类型

和MySQL的数据类型对比

MySQLclickhouse长度无符号长度有符号
byteInt8-2^(n-1) ~ 2 ^(n-1) -10 ~ 2^(n-1) -1
shortInt16
intInt32
longInt64
varcharString
timestampDateTime
floatFloat32
doubleFloat64
boolean无
有符号就是在整形Int前面加上U，如无符号的Int8对应有符号的UInt8，取值范围分别是-128 ~ 127 和0 ~ 255

表引擎

创建库

CREATE DATABASE 数据库名;
重要引擎

Kafka

可以实时读取kafka主题中数据，并保存到表中

创建表

CREATE TABLE 数据库名.队列表名(列名 数据类型) ENGINE = Kafka SETTINGS kafka_broker_list = ‘ip:port’, kafka_topic_list = ‘主题名’, kafka_group_name = ‘消费组名’, kafka_format = ‘JSONEachRow’, kafka_num_consumers = 1;

必要参数

  • kafka_broker_list：以逗号分隔的 brokers 列表 (localhost:9092)
  • kafka_topic_list：topic 列表 (my_topic)。
  • kafka_group_name：Kafka 消费组名称 (group1)。如果不希望消息在集群中重复，请在每个分片中使用相同的组名。
  • kafka_format：消息体格式。 使用与 SQL 部分的 FORMAT 函数相同表示方法，例如 JSONEachRow。了解详细信息 请

非必要参数

  • kafka_num_consumers – 单个表的消费者数量。
    默认值是：1，如果一个消费者的吞吐量不足，则指定更多的消费者。消费者的总数不应该超过 topic 中分区的数量，因为每个分区只能分配一个消费者。

创建物化视图，用于从同步表向数据表同步内容
CREATE MATERIALIZED VIEW 数据库名.视图名 TO 数据库名.创建过得表名 AS SELECT 列字段 from 数据库 名.创建过的队列名;

步骤

  • 首先创建一张Kafka表引擎的表，用于从Kafka中读取数据（数据库名.队列表名）
  • 然后再创建一张普通表引擎的表，比如MergeTree，面向终端用户使用（数据库名.表名）
  • 最后创建物化视图，用于将Kafka引擎表实时同步到终端用户所使用的表中（数据库名.视图名）

最终终端查询都是查的MergeTree引擎创建的表

新增或者删除列

修改表中的列是可以通过先删除再重建即可，因为此种引擎的表不会保存数据，不会导致数据丢失

暂停和恢复消费
-- 暂停消费
DETACH TABLE your_kafka_table;

-- 恢复消费
ATTACH TABLE your_kafka_table;

MergeTree

ClickHouse中最强大的表引擎当属MergeTree（合并树）及该系列（*MergeTree）中的其他引擎。
MergeTree引擎系列的基本理念如下。当你有巨量数据要插入表中，你要高效的一批一批写入数据片段，并希望这些数据片段在后台按照一定规则合并，相比在插入时不断修改数据进存储，这种策略会高效很多。
特点如下：

  1. 数据按主键排序
  2. 可以使用分区（如果指定了主键）
  3. 支持数据副本
  4. 支持数据采样

创建表
CREATE TABLE 数据库名.表名 (列名 数据类型) ENGINE =MergeTree() PARTITION BY toYYYYMM(log_time) ORDER BY (log_time) SETTINGS index_granularity=8192;

  • index_granularity索引粒度，用默认值8192即可
新增列

和MySQL新增列一样的指令，不同点事默认为空字符串的话用DEFAULT ‘’ ，使用单引号，也可以不加
ALTER TABLE 库名.表名 ADD COLUMN 列名 数据类型 DEFAULT ‘’;

删除列

ALTER TABLE 库名.表名 DROP COLUMN 列名;

修改数据
ALTER TABLE table_name UPDATE column1 = expr1 [, ...] WHERE filter_expr

处理异常

首先查看异常日志，一般在clickhouse目录下的clickhouse-server.err.log中，

  1. 先查看错误日志，如果不知道是哪个表报的错，就查看正常日志
  2. 如果没有读取到kafka的数据，先看下物化图中对应的kafka地址是否正确，查看kafka的索引，如果消费到了解析不了的数据，需要先将消费kafka数据的队列表删除掉，再修改此消费者组的的消费索引，一般报错信息中会提示解析不了的数据的索引，用关键字offset查看即可，将消费者的索引改为消费不了的数据的索引加1即可，如果服务器挂了重启服务器导致消费不到kafka数据则需要访问一次clickhouse的数据
  3. 如果启动提示UNKNOWN，一般是配置文件出错了，只需把改正确即可
  4. 在这里插入图片描述
    此种错误是因为版本问题，19版本的有这个问题，18和20版本的都没有
  5. 如果服务器启动了但是没有生成日志文件，可能是clickhouse用户没有日志文件路径的权限，可以用id clickhouse查看clickhouse用户，然后用chown -R clickhouse:clickhouse logPath(日志所在文件夹)
  6. 异常信息： Received from localhost:9000, ::1. DB::Exception: Column '1' already exists: (while reading from part /clickhouse/data/202_239_8163_43_8049/)，是因为where条件中有两列都筛选了条件为1的，只有修改一列的筛选跳转才会正常，版本 18.16.1，如where age = 1 and genden = 1就会报这个错，修改为 where age = 1 and genden != 0就可以了

常用函数

  • 日期函数
    formatDateTime(log_time,'%Y-%m-%d %H:%M:%S') log_tikme 为日期类型的列

取整函数

  • 向下取整：floor(x[,N])，floor(toFloat32(12.08098), 2)
  • 四舍五入：round(expression [, decimal_places])，round(toFloat32(12.1234), 3)
  • .向上取整：ceil(x[, N]) 或者 ceiling(x[, N])
  • 返回绝对值小于或等于x的最大绝对值的整数：trunc(x[, N]), truncate(x[, N])
  • 银行家舍入方法：roundBankers

查询各个表的数据大小

SELECT table, formatReadableSize(total_bytes) AS size FROM system.tables ORDER BY size DESC;

参考 ：https://blog.csdn.net/weixin_43829047/article/details/117219725

clickhouse 数据字典使用详解
congge_study的博客
12-20 5343
clickhouse 数据字典使用详解
ClickHouse 实战：使用 Docker Compose 部署 ClickHouse 集群
SmartSi
05-16 1217
在今天的这篇文章中，我们将详细介绍如何使用 Docker Compose 来部署 ClickHouse 数据库。ClickHouse 是一个用于在线分析处理（OLAP）的列式数据库管理系统（DBMS），以其高速查询性能而闻名。使用 Docker Compose，我们可以方便地定义和运行多容器 Docker 应用程序，使部署 ClickHouse 变得更为简单和高效。
ClickHouse使用介绍和部署指南
m0_58000616的博客
05-20 4303
ClickHouse 是一种用于在线分析处理 (OLAP) 的高性能、面向列的 SQL 数据库管理系统 (DBMS)。它以其快速的查询性能和高效的数据压缩而闻名，并且能够处理 PB 级别的数据。1.
Clickhouse的使用
qq_47346664的博客
08-26 1689
Clickhouse一、Clickhouse简介1.初识Clickhouse2.Clickhouse特性二、Clickhouse安装1、ubantu安装Clickhouse2、docker安装Clickhouse3、rpm安装Clickhouse三、Clickhouse的简单操作1.启动数据库2.创建数据库3.创建表4.插入数据 一、Clickhouse简介 1.初识Clickhouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)，用于对干净，结构良好且不可变的事件或
ClickHouse实操经验：从入门到实战的深度分享
最新发布
Kenneth55的专栏
03-26 925
ClickHouse是一款非常强大的数据库，在处理海量数据方面有着出色的表现。在实际使用过程中，要不断学习和探索，掌握其核心原理和优化技巧。同时，要注意数据的备份和恢复，确保数据的安全性和可靠性。希望我的这些实操经验能够帮助大家更好地使用ClickHouse，解决实际工作中遇到的问题。
ClickHouse 使用技巧总结
奔跑的蜗牛的博客
05-30 2567
本文对 Clickhouse 的常用使用技巧进行了总结，包括数据导入导出，建表技巧，如何创建表才能真正提升查询速度，最后介绍了一些高级的技巧，包括投影和物化视图的使用，以及在数据量特别大的时候，使用位图来进行高效的存储和位运算。
ClickHouse介绍及安装(含集群方式)和使用
Yore - Home
11-15 1万+
本文比较详细的介绍了 ClickHouse，包括其名字的来由、使用场景、不使用场景、特点，为了后面的部署和使用有重点介绍了 ClickHouse 的架构。当然核心的 ClickHouse 的引擎也对其做了介绍，数据类型。接着详细介绍了ClickHouse 的部署，包括集群方式部署，分布式表的使用，通过几个示例的使用让大家对 ClickHouse 有一个整体完整的认识。
ClickHouse 使用介绍
06-06 1742
ck介绍
【开端】clickhouse入门使用
JAVA领域优质创作者，基于分片网络查询方法专利发明者。
09-05 1451
ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），它使用C++语言编写，主要面向在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。ClickHouse在数据处理和查询性能上表现优异，尤其适用于大数据量的实时分析场景。
4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用
05-29
ClickHouse的Log系列表引擎主要包括TinyLog、StripLog和Log这三种，它们的设计主要是为了快速写入小规模数据并进行多次读取。Log系列引擎的特点是简单且适用于一次性写入多次查询的场景。 1. **TinyLog**： - ...
ClickHouse 介绍
hhhhhhfq的博客
08-24 2848
ClickHouse介绍！
大数据工具之ClickHouse使用方法教程.zip
01-07
大数据工具之ClickHouse使用方法教程.zip
ClickHouse的详细使用
qq_44002865的博客
08-09 1656
ClickHouse 文章目录ClickHouse1、安装2、数据类型整型浮点型布尔型Decimal 型字符串时间类型数组3、表引擎TinyLog（不适用）Memory（不适用）MergeTree（推荐）手动合并二级索引数据 TTLReplacingMergeTreeSummingMergeTree4、SQL 操作5、副本配置步骤6、分片集群简介3 分片 2 副本共 6 个节点集群配置配置三节点版本集群及副本 1、安装 第一步：修改 /etc/security/limits.conf 文件并同步到其他服
clickhouse使用教程(转载)
cpych的专栏
08-14 1629
作者：TinyThing 链接：https://www.jianshu.com/p/2b2221123ab5 来源：简书 0x0 背景 近期要做一个数据统计功能，公司选择了clickhouse作为数据库；下面记录一下该数据库的特性和使用教程。 0x1 介绍 ClickHouse is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP). cl
ClickHouse基本使用总结
csdncjh的博客
06-02 4488
MergeTree，这个引擎本身不具备同步副本的功能，如果指定的是ReplicaMergeTree，会同步到对应的replica上面去。一般在实际应用中，创建分布式表指定的都是Replica的表。分布式表本身不存储数据，数据存储其实还是由本地表t_cluster完成的。这个dist_t_cluster仅仅做一个代理的作用。如果在任意节点创建表以后，其他节点都能同步到表结构，说明集群生效。name String DEFAULT 'lemonNan' COMMENT '姓名',
clickhouse基础教程
热门推荐
Im ok的博客哦
05-06 1万+
一、基础概念 Clickhouse由俄罗斯Yandex公司开源的数据库，专为OLAP而设计。 Yandex是俄罗斯最大的搜索引擎公司，官方宣称ClickHouse 日处理记录数”十亿级”。 发布之初跑分要超过很多流行的商业MPP数据库软件，对标老东家HP的Vertica和GP 官方的性能测试显示比vertica快5倍，比GP快10倍。 但是： clickhouse直接可以安在各种版本的Linux系统上，macos可以通过docker来安装 官方没有提供设计和架构文档，只有开源的C++源码 不理睬Hadoop
clickhouse的使用教程
qq_36382679的博客
03-10 828
1 下载jar https://packagecloud.io/Altinity/clickhouse/ vim /etc/security/limits.conf 在文件末尾添加 *soft nofile 65536 *hard nofile 65536 *soft nproc 131072 *hard nproc 131072 安装依赖文件 yum install -y libtool yum install -y *uninxODBC* 2 安装clickhouse rpm -ivh cli
ClickHouse基本使用
chenzuoli的博客
04-26 1446
最近在学习ClickHouse的基本使用，一页一页看官网，了解每一个功能的使用方法
ClickHouse使用实践
m0_61607827的博客
04-17 2193
随着公司业务数据量日益增长，数据处理场景日趋复杂，急需一种具有高可用性和高性能的数据库来支持业务发展，ClickHouse是俄罗斯的搜索公司Yandex开源的MPP架构的分析引擎，号称比事务数据库快100-1000倍，最大的特色是高性能的向量化执行引擎，而且功能丰富、可靠性高。 在过去的一年中，杭研DBA团队已经支撑网易集团内部多个事业部上线使用，集群规模共计十几套，CPU近3000核，每日近千亿数据入库，千亿级别表查询可在秒级完成，大大提升了业务原有OLAP架构的效能，覆盖的业务场景包括：用户行为日志分
clickhouse SEMI JOIN使用介绍和示例
05-25
ClickHouse的SEMI JOIN是一种关联查询，它类似于INNER JOIN，但是只返回左表中有匹配项的行，并且不返回右表中的任何数据。SEMI JOIN通常用于筛选需要查询的数据，以提高查询效率。下面是一个使用示例： 假设我们有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值