clickhouse 入门 1

一、clickhouse 入门 1

在这里插入图片描述

1.clickhouse 特点

1.1 列式存储

在这里插入图片描述

列式储存的好处:
	1.对于列的聚合,计数,求和等统计操作原因优于行式存储。
	2.由于某一列的数据类型都是相同的,针对于数据存储更容易进行数据压缩,
	每一列选择更优的数据压缩算法,大大提高了数据的压缩比重。
	3.由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于cache也有了更大的发挥空间。

1.2 DBMS功能

几乎覆盖了标准 SQL 的大部分语法,包括 DDL 和 DML,以及配套的各种函数,用户管理及权限管理,数据的备份与恢复。

1.3 多样化引擎

ClickHouse 和 MySQL 类似,把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。
目前包括合并树、日志、接口和其他四大类 20 多种引擎。

1.4 高吞吐写入能力

ClickHouse 采用类LSM Tree的结构,数据写入后定期在后台 Compaction。通过类 LSM tree的结构,ClickHouse 在数据导入时全部是顺序 append 写,写入后数据段不可更改,在后台compaction 时也是多个段 merge sort 后顺序写回磁盘。顺序写的特性,充分利用了磁盘的吞吐能力,即便在 HDD 上也有着优异的写入性能。
官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力,按照每行100Byte 估算,大约相当于 50W-200W 条/s 的写入速度。

1.5 数据分区与线程级并行

在这里插入图片描述

1.6 性能对比

在这里插入图片描述

2.clickhouse的安装准备工作

2.1 确定防火墙处于关闭状态

2.2 CentOS 取消打开文件数限制

(1)在 node1 的 /etc/security/limits.conf 文件的末尾加入以下内容

[xzj@node1 ~]$ sudo vim /etc/security/limits.conf
 * soft noproc 131072
 * hard noproc 131072
 * soft nofile 65535
 * hard nofile 65535

(2)在 node1 的/etc/security/limits.d/90-nproc.conf 文件的末尾加入以下内容

[xzj@node1 ~]$ sudo vim /etc/security/limits.d/20-nproc.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
断开重新连接后生效 用ulimit -a查看

(3)执行同步操作

2.3 安装依赖

sudo yum install -y libtool
sudo yum install -y *unixODBC*

2.4 CentOS 取消 SELINUX

(1)修改/etc/selinux/config 中的 SELINUX=disabled
[xzj@node1 ~]$ sudo vim /etc/selinux/config
SELINUX=disabled
注意:别改错了
(2)执行同步操作
(3)重启服务器

3.clickhouse的单机安装

3.1 离线rpm手动安装

https://repo.clickhouse.com/deb/stable/main/

在这里插入图片描述

[xzj@node1 clickhouse]$ sudo rpm -ivh *.rpm (集群都一样)
密码部分回车则不输入密码,如果设定每次客户端访问都需要输入密码

注意:rpm手动安装后
配置文件路径在   ==> /etc/clickhouse-server
依赖库路径在 与数据存储路径 ==> /var/lib/clickhouse
命令路径在  ==> /usr/bin/
日志路径在  ==> /var/log/clickhouse

配置文件中 config.d 是服务端默认配置文件
配置文件中 user.d 是参数默认配置文件 (cpu等)

3.2 修改配置文件

[root@node1 xzj]# vim /etc/clickhouse-server/config.xml 
(1)把 <listen_host>::</listen_host> 的注释打开,这样的话才能让 ClickHouse 被除本机以外的服务器访问
lsof -i tcp:9000 查看端口占用 已经被hadoop占用改为9090
<tcp_port>9090</tcp_port>
(2)分发配置文件

3.3 启动 Server

[xzj@node1 ~]$ sudo clickhouse start

3.4 集群机器上关闭开机自启

sudo systemctl disable clickhouse-server

3.5 使用 client 连接 server

 clickhouse-client  --port 9090 -m
 -m :可以在命令窗口输入多行命令

4.数据类型

4.1 整型

在这里插入图片描述

4.2 浮点型 (不适合存钱)

在这里插入图片描述
在这里插入图片描述

4.3 布尔型

没有单独的类型来存储布尔值。可以使用 UInt8 类型,取值限制为 0 或 1。

4.4 Decimal型

在这里插入图片描述

4.5 字符型

在这里插入图片描述
在这里插入图片描述

4.6 枚举型

在这里插入图片描述
1)用法演示

创建一个带有一个枚举 Enum8('hello' = 1, 'world' = 2) 类型的列


CREATE TABLE t_enum
(
 x Enum8('hello' = 1, 'world' = 2)
)
ENGINE = TinyLog;

2)这个 x 列只能存储类型定义中列出的值:‘hello’或’world’

INSERT INTO t_enum VALUES ('hello'), ('world'), ('hello');

3)如果尝试保存任何其他值,ClickHouse 抛出异常

insert into t_enum values('a')

4)如果需要看到对应行的数值,则必须将 Enum 值转换为整数类型

 SELECT CAST(x, 'Int8') FROM t_enum;

在这里插入图片描述

4.7 时间类型

在这里插入图片描述

4.8 数组

在这里插入图片描述
(1)创建数组方式 1,使用 array 函数

SELECT array(1, 2) AS x, toTypeName(x) ;

(2)创建数组方式 2:使用方括号

 SELECT [1, 2] AS x, toTypeName(x);

5.表引擎

5.1 表引擎的使用

在这里插入图片描述

5.2 TinyLog

列文件的形式保存在磁盘上不支持索引没有并发控制。一般保存少量数据的小表,
生产环境上作用有限。可以用于平时练习测试用。

create table t_tinylog ( id String, name String) engine=TinyLog;

5.3 Memory

在这里插入图片描述

5.4 MergeTree ※

ClickHouse 中最强大的表引擎当属 MergeTree(合并树)引擎及该系列(*MergeTree)中的其他引擎,支持索引和分区,地位可以相当于 innodb 之于 Mysql。而且基于 MergeTree,还衍生除了很多小弟,也是非常有特色的引擎。

1)建表语句

create table t_order_mt(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine =MergeTree
 partition by toYYYYMMDD(create_time)
 primary key (id) 
 order by (id,sku_id);
 
 --primary key (id)  没有唯一约束,但是会根据该字段建立索引

2)插入数据

insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

MergeTree 其实还有很多参数(绝大多数用默认值即可),但是三个参数是更加重要的,也涉及了关于 MergeTree 的很多概念。

5.4.1 partition by 分区(可选)

1)作用

学过 hive 的应该都不陌生,分区的目的主要是降低扫描的范围,优化查询速度

2)如果不填

只会使用一个分区。

3)分区目录

MergeTree 是以列文件+索引文件+表定义文件组成的,但是如果设定了分区那么这些文件就会保存到不同的分区目录中。

4)并行

分区后,面对涉及跨分区的查询统计,ClickHouse 会以分区为单位并行处理。

5)数据写入与分区合并

任何一个批次的数据写入都会产生一个临时分区,不会纳入任何一个已有的分区。
写入后的某个时刻(大概 10-15 分钟后),ClickHouse 会自动执行合并操作
(等不及也可以手动通过 optimize 执行),把临时分区的数据,合并到已有分区中。

optimize table xxxx final;

6)例如

再次执行上面的插入操作

insert into t_order_mt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

查看数据并没有纳入任何分区
在这里插入图片描述
在这里插入图片描述

当执行 optimize table t_order_mt final;手动合并后
也可以指定分区进行手动合并
optimize table t_order_mt partition ‘20200621’ final;
在这里插入图片描述
在这里插入图片描述

CK数据存在本地磁盘 /var/lib/clickhouse下
1.data
在这里插入图片描述

PartitionId_MinBlockNum_MaxBlockNum_Level
分区值_最小分区块编号_最大分区块编号_合并层级
    =》PartitionId
        数据分区ID生成规则
        数据分区规则由分区ID决定,分区ID由PARTITION BY分区键决定。根据分区键字段类型,ID生成规则可分为:
            未定义分区键
                没有定义PARTITION BY,默认生成一个目录名为all的数据分区,所有数据均存放在all目录下。

            整型分区键
                分区键为整型,那么直接用该整型值的字符串形式做为分区ID。

            日期类分区键
                分区键为日期类型,或者可以转化成日期类型。

            其他类型分区键
                String、Float类型等,通过128位的Hash算法取其Hash值作为分区ID。
    =》MinBlockNum
        最小分区块编号,自增类型,从1开始向上递增。每产生一个新的目录分区就向上递增一个数字。
    =》MaxBlockNum
        最大分区块编号,新创建的分区MinBlockNum等于MaxBlockNum的编号。
    =》Level
        合并的层级,被合并的次数。合并次数越多,层级值越大。

在这里插入图片描述

	bin文件:数据文件
	mrk文件:标记文件
	    标记文件在 idx索引文件 和 bin数据文件 之间起到了桥梁作用。
	    以mrk3结尾的文件,表示该表启用了自适应索引间隔。
	primary.idx文件:主键索引文件,用于加快查询效率。
	minmax_create_time.idx:分区键的最大最小值。
	checksums.txt:校验文件,用于校验各个文件的正确性。存放各个文件的size以及hash值。
5.4.2 primary key 主键(可选)

在这里插入图片描述
稀疏索引:
在这里插入图片描述

5.4.3 order by(必选)

在这里插入图片描述

5.4.4 二级索引

目前在 ClickHouse 的官网上二级索引的功能在 v20.1.2.4 之前是被标注为实验性的,在这个版本之后默认是开启的。
1)老版本使用二级索引前需要增加设置
在这里插入图片描述
2)创建测试表

create table t_order_mt2(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime,
INDEX a total_amount TYPE minmax GRANULARITY 5
) engine =MergeTree
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id, sku_id);

其中 GRANULARITY N 是设定二级索引对于一级索引粒度的粒度。

3)插入数据

insert into t_order_mt2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

1.跳数索引说明有二级索引
在这里插入图片描述

2.show create table t_order_mt2
在这里插入图片描述

4)对比效果
那么在使用下面语句进行测试,可以看出二级索引能够为非主键字段的查询发挥作用。

clickhouse-client --send_logs_level=trace <<< 'select * from t_order_mt2 where total_amount > toDecimal32(900., 2)';

在这里插入图片描述

5.4.5 数据 TTL

TTL 即 Time To Live,MergeTree 提供了可以管理数据表或者列的生命周期 的功能。如:用户画像时效性应用

1)列级别 TTL

(1)创建测试表

create table t_order_mt3(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2) TTL create_time+interval 10 SECOND,
 create_time Datetime 
) engine =MergeTree
partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id, sku_id);

(2)插入数据(注意:根据实际时间改变)

insert into t_order_mt3 values
(106,'sku_001',1000.00,'2021-12-14 11:53:30'),
(107,'sku_002',2000.00,'2021-12-14 11:53:30'),
(110,'sku_003',600.00,'2021-12-14 11:53:30');

(3)手动合并,查看效果 到期后,指定的字段数据归 0

optimize table t_order_mt3 final;

在这里插入图片描述

2)表级 TTL

下面的这条语句是数据会在 create_time 之后 10 秒丢失

alter table t_order_mt3 MODIFY TTL create_time + INTERVAL 10 SECOND;

在这里插入图片描述

5.5 ReplacingMergeTree 最终一致性

ReplacingMergeTree 是 MergeTree 的一个变种,它存储特性完全继承 MergeTree,只是多了一个去重的功能。 尽管 MergeTree 可以设置主键,但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据,可以借助这个 ReplacingMergeTree。

5.5.1 去重时机

数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行,所以你无法预先作出计划。有一些数据可能仍未被处理。

5.5.2 去重范围

如果表经过了分区,去重只会在分区内部进行去重,不能执行跨分区的去重。
所以 ReplacingMergeTree 能力有限, ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。

5.5.3 案例演示

(1)创建表

create table t_order_rmt(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2) ,
 create_time Datetime 
) engine =ReplacingMergeTree(create_time)
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id, sku_id);

ReplacingMergeTree() 填入的参数为版本字段,重复数据保留版本字段值最大的。如果不填版本字段,默认按照插入顺序保留最后一条。
(2)向表中插入数据

insert into t_order_rmt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

(3)执行第一次查询

select * from t_order_rmt;

在这里插入图片描述
(4)手动合并

OPTIMIZE TABLE t_order_rmt FINAL;

在这里插入图片描述
如果都相同则根据插入的先后顺序来,后插入的保留

5.5.4 通过测试得到结论

在这里插入图片描述

5.6 SummingMergeTree 数据一致性可能存在问题

在这里插入图片描述

5.6.1 案例演示

(1)创建表

create table t_order_smt(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2) ,
 create_time Datetime 
) engine =SummingMergeTree(total_amount)
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id );

(2)插入数据

insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

在这里插入图片描述

5.6.2 通过结果可以得到以下结论

在这里插入图片描述

5.6.3 开发建议

设计聚合表的话,唯一键值、流水号可以去掉,所有字段全部是维度、度量或者时间戳。(手动指定需要group by的字段)

5.6.4 问题

能不能直接执行以下 SQL 得到汇总值
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值