Clickhouse

已于 2024-05-15 21:16:58 修改
阅读量2k 收藏 31
点赞数 50
文章标签： clickhouse
于 2024-05-15 16:24:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51384368/article/details/138867597
版权

概念

来源

ClickHouse背后的研发团队是俄罗斯的Yandex公司。Yandex是一家俄罗斯的搜索引擎公司，类似于我国的百度，Yandex于2011年在纳斯达克上市。

架构演变

特点 

 Clickhouse使用的是列式存储

图中第二个使用的列式存储在提取某一部分的全部数据时，可以直接连续的提出，不需要像行式存储要遍历整个数据库，在数据分析时就非常方便 

优点
  1.  在某些场景例如需要读大量行但是少数几个列，所有行的数据都存储在一个block中，不参与计算的列在IO时也要全部读出，读取操作被严重放大，而列式存储只需读出参与行即可
  2. 同一列中的数据属于同一类型，压缩效果显著
  3. 更高的压缩比意味着更小的data size
  4. 自由的压缩算法选择，可以选用不同算法
  5. 高压缩比，能存储更多数据
原理 
列式存储 

 上文已经详细介绍 

顺序存储
  • ClickHouse支持在建表时，指定将数据按照某些列进行order by。
  • 排序后，保证了相同sort key的数据在磁盘上连续存储，且有序摆放。在进行等值、范围查询时，where条件命中的数据都紧密存储在一个或若干个连续的Block中，而不是分散的存储在任意多个Block， 大幅减少需要IO的block数量。
  • 另外，连续IO也能够充分内存缓存，相同内存可以缓存更多有效数据量。
索引 
主键索引

 clickhouse支持主键索引，将每一列按照index granularity（默认8219行）进行划分，每一个index granularity的开头第一行成为一个mark行，主键索引该mark行对应的primary key的值。

primary key采用二分法查找，避免了全表扫描从而加速查询。

稀疏索引

ClickHouse支持对任意列创建任意数量的稀疏索引，他本质上是对一个完整的index granularity进行统计信息，不会记录具体每一行在文件中的位置。

数据分片

clickhouse支持单机也支持分布式集群模式，在分布式集群模式下clickhouse会把数据分为多个分片，并且分布到不同节点上。

  • random随机分片：数据会被随机分配到集群的某个节点上
  • constant固定分片：写入数据会分法到固定的一个节点上
  • column value分片：按照某一列的值进行hash分片
  • 自定义表达式分片：指定合法表达式，根据表达式计算后进行hash分片

数据分片可以充分利用集群的优势，快速返回搜索结果

数据分片是通过分布式表实现的，集群的每个节点都可以称为shard（分片）

分布式表

分布式表也是在clickhouse中建立的一个表，但是这个表不存储数据，只作为一层代理，在集群中进行分发、写入、查询、路由等操作

创建分布式表的时候，需要指定分片规则，将数据写入到不同分片

  • rand（）：随机写入
  • userid：根据userid的余数划分
  • intHash64(userid) 按照userid的hash值进行划分
PARTITION BY

ClickHouse支持PARTITION BY子句，在建表时可以指定按照任意合法表达式进行数据分区操作，比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照最近一周的周一进行分区、对Enum类型的列直接每种取值作为一个分区等。

在partition key上进行分区裁剪，可以有效地跳过无用的数据文件，缩小查询范围，只查询必要的数据。

数据TTL

TTL(time to live)：表示数据存在的时间

出于成本和效率考虑，有的项目只会保留几个月的数据，通过TTL使clickhouse能够管理数据生命周期

ClickHouse支持几种不同粒度的TTL：

  1. 列级别TTL：当一列中的部分数据过期，会被替换为默认值；全列的数据都过期，会删除该列
  2. 表级别TTL：当某一行过期后，会删除该行

表引擎 

介绍        

与mysql类似，表引擎决定其特征，clickhouse不同引擎之间区别很大，分为六类20多种

  • MergeTree系列引擎
  • 外部存储类型
  • 文件类型
  • 内存类型
  • 接口类型
  • 其它类型

其中MergeTree系列引擎性能强大、使用场景广，也只有MergeTree系列引擎才支持主键索引、数据分区、数据副本和数据采样这些特性 

MergeTree
建表方式
SQL
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
    INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
    INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
) ENGINE = MergeTree()
[PARTITION BY expr]
[ORDER BY expr]
[PRIMARY KEY expr]
[SAMPLE BY expr]
[SETTINGS name=value, ...]
  • PARTITION BY：分区键，不声明分区键，则会默认生成一个名为all的分区
  • ORDER BY：必填，排序键，默认情况下主键与排序键相同
  • PRIMARY KEY：会根据主键字段生成一级索引，用于加速查询，可不声明，默认是ORDER BY定义的字段
  • SAMPLE BY：抽样表达式，声明数据以何种标准进行采样，如果使用此配置，必须在主键的配置中也声明同样的表达式。                                                                                                        例如：ORDER BY (CounterID,intHash32(UserID)) SAMPLE BY intHash32(UserID)
  • SETTINGS

    • index_granularity:索引粒度，默认8192，也就每隔8192行才生成一条索引

    • enable_mixed_granularity_parts:是否开启自适应索引间隔功能，默认开启

    • index_granularity_bytes:每一批次写入的数据量大小，默认10M(10*1024*1024)

例：

SQL语句

CREATE TABLE test.part_v1
(
    `ID` String,
    `URL` String,
    `age` UInt8 DEFAULT 0,
    `EventTime` Date
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(EventTime)
ORDER BY ID
SETTINGS index_granularity = 8192

抽样查询

SELECT avg(CountID) FROM hits_v1 SAMPLE 0.1;
文件类型
.bin文件

.bin是实际存储数据的文件，每列一个.bin文件

checksums.txt

校验文件，二进制文件，保存了余下各类文件（primary.idx、count.txt等）的size大小和size哈希值，用于快速校验文件的完整性和正确性

columns.txt

列信息文件，明文存储格式，保存本数据分区下的列字段信息

count.txt

计数文件，使用明文存储，记录当前数据分区目录下数据的总行数

primary.idx

一级索引文件，二进制文件，用于存放稀疏索引，有助于系统提高查询速度

列.bin

数据文件，默认使用LZ4压缩格式存储，存放某一列数据，MergeTree采用列式存储，所以每一个列字段都拥有独立的.bin数据文件，并以列字段名称命名

列.mrk2

列字段标记文件，二进制文件，存储.bin文件中数据的偏移量信息

partition.data与minmax_[cloume].idx

两者都是索引文件，二进制文件，前者存储当前分区下分区表达式最终生成的值，即分区字段值

后者用于存储当前分区字段对应的原始数值的最大和最小值

Clickhouse单机版

安装

安装前准备
​​​​​​​1.打开文件数限制
vim /etc/security/limits.conf

文件末尾加入这四行

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

编辑第二个文件 

vim /etc/security/limits.d/20-nproc.conf

文件末尾加入这四行

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

重启服务器后验证

ulimit -n 
ulimit -a
2.取消SELINUX
vim /etc/selinux/config

修改文件中的selinux

注：ARM架构最好不要使用disable，可能出现问题

SELINUX=permissive
3.关闭防火墙
systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service
4.安装依赖
yum install -y libtool 
yum install -y *unixODBC*
本体安装

更新软件仓库

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/stable/

下载三个组件

yum install clickhouse-common-static-22.6.3.35 -y --nogpgcheck
yum install clickhouse-client-22.6.3.35 -y --nogpgcheck
yum install clickhouse-server-22.6.3.35 -y --nogpgcheck
启动服务

方式1:服务器启动方式

systemctl start clickhouse-server

方式2:前台启动

cd /var/lib/
chown -R root:root clickhouse
clickhouse-server --config-file=/etc/clickhouse-server/config.xml

方式3:后台启动(输出到日志中)

cd /var/lib/
chown -R root:root clickhouse
clickhouse-server --config-file=/etc/clickhouse-server/config.xml 1>~/logs/clickhouse_std.log 2>~/logs/clickhouse_err.log &

启动成功后检查一下

ps -aux | grep clickhouse
netstat -nltp | grep clickhouse

如果报权限错误，修改安装目录的权限，默认使用 clickhouse 用户

cd /var/lib/
chown -R root:root clickhouse

root用户启动：把/var/lib/clickhouse 改成:root:root

clickhouse用户启动：运行chmod -u /bin/bash clickhouse后再切换到clickhouse用户使用

启动客户端
clickhouse-client
#或
clickhouse-client --host=localhost --port=9000 -m

进入后输入指令show databases试一下

基本使用 

创建库
create database test
切换库
use test
创建表
CREATE TABLE t_stu
(
`id` UInt8,
`name` String,
`age` UInt8,
`birthday` Date
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(birthday)
PRIMARY KEY id
ORDER BY id

 注：文件类型、引擎类型等都必须区分大小写

查看表

show tables
插入数据 
insert into t_stu
(id,age,name,birthday)
values
(1001,20,'张三','2000-01-01'),
(1002,22,'李四','2000-01-03'),
(1003,26,'王五','2000-01-02'),
(1004,28,'赵六','2000-01-06');

进入文件夹查看文件结构

cd /var/lib/clickhouse/data
ll test/t_stu/

文件名称结构

分区名称构成 = 分区ID _ 最小数据块 _ 编号最大数据块编号 _ 合并层级

                        200001   _         1          _                  1                 _        0

数据合并 

在ClickHouse中，MergeTree表支持数据合并操作，当表的分区达到一定数量或者手动触发合并操作时，ClickHouse会自动执行数据合并。如果你想要手动触发合并，可以使用OPTIMIZE查询。这里是一个示例：

OPTIMIZE TABLE database_name.table_name FINAL;

基于zookeeper的clickhouse

在clickhouse23版本以前clickhouse没有自己的分布式协调服务，只能借助zookeeper实现集群

zookeeper
起源

最早起源于雅虎研究院的一个研究小组，目的在于解决很多大型系统基本都需要依赖一个类似的系统来进行分布式协调，于是雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架

作用

zookeeper是一个集中的服务，用于维护配置信息、命名（服务注册和发现）、提供分布式同步以及提供组服务

应用场景
注册中心

通过使用命名服务，客户端应用能够根据指定名字来获取资源的实体、服务地址和提供者的信息等

  • /provider:存放服务地址
  • /consumer:存放消费地址 ​​​​​​​
  • /conf:存放配置信息限制  

consumer通过监听provider节点的内容修改实现动态读取地址，只需要在provider中存放多个地址然后程序中通过代码实现随机调用即可

搭建clickhouse集群

安装zookeeper
1.配置java环境

将java1.8安装包存入/opt文件夹

运行本地安装

yum -y loaclinstall /opt/java1.8

查看java安装是否成功

java -version
2.解压文件

将安装包传入服务器，解压压缩包

tar -xvf zookeeper-3.4.13.tar.gz -C /usr/

修改文件夹名称

mv /usr/zookeeper-3.4.13 usr/zookeeper
3.配置环境变量
vim /etc/profile

在文件中添加这两行

export ZK_HOME=/usr/zookeeper  #要与安装目录相同
export PATH=$PATH:$ZK_HOME/bin

让文件生效

source /etc/profile
4.使能配置文件
cp /usr/zookeeper/conf/zoo_sample.cfg /usr/zookeeper/conf/zoo.cfg

这个zoo_sample.cfg是zk官方给的配置文件样例，只需要将名字修改为zoo.cfg就能生效

 5.启动测试

此时zookeeper已经配置完成，启动试试

zkServer.sh start #启动
#连接
zkCli.sh
zkCli.sh -server 172.16.12.148:2181

检查服务是否正常

jps #java检测运行服务脚本

安装clickhouse集群 

按照单机版安装好ck

ck文件配置
 1.添加config.d中的节点
vim /etc/clickhouse-server/config.d/metrika.xml

 注：这个metrika.xml文件名字不是固定的，起什么名字都可以

编辑文件内容

<?xml version="1.0"?>
<yandex>
	<!-- 添加集群相关配置 -->
	<remote_servers>
    <!-- 2个分片1个副本 -->
	<test_cluster_shards>
		<shard>
 <!-- 是否只将数据写入其中一个副本，默认为false，表示写入所有副本，
      在复制表的情况下可能会导致重复和不一致，所以这里要改为true，
     clickhouse分布式表只管写入一个副本，其余同步表的事情交给复制表和zookeeper来进行 -->
			<internal_replication>true</internal_replication>
			<replica>
				<host>172.16.12.148</host>
				<port>9000</port>
			</replica>
		</shard>
		<shard>
			<internal_replication>true</internal_replication>
			<replica>
				<host>172.16.12.149</host>
				<port>9000</port>
			</replica>
		</shard>
	</test_cluster_shards>
	</remote_servers>
<!-- 复制标识的配置，也称为宏配置，这里唯一标识一个副本名称，
      每个实例配置都是唯一的 -->
	<macros>
<!-- 当前节点在在集群中的分片编号，需要在集群中唯一，3个节点分别为01，02，03 -->
		<shard>01</shard>
<!-- 副本的唯一标识，需要在单个分片的多个副本中唯一，3个节点分别为cdh01，cdh02，cdh03 -->
		<replica>ck148</replica>
	</macros>
	
	<zookeeper-servers>
	    <node index="1">
	        <host>172.16.12.148</host>
	        <port>2181</port>
	    </node>
	</zookeeper-servers>
</yandex>
2.配置/etc/clickhouse-server/config.xml

​​​​​​​先删除config.xml中的<remote_servers>节点相关的配置

注：删除的remote的内容其实就是我们创建的metrika.xml的内容，只是分出来方便另外配置

可以看到从这里开始

这里结束

 

删除

:688,825d

 修改这行删掉注释，打开监听端口

    <listen_host>0.0.0.0</listen_host>

在文件底下添加这些内容

<zookeeper incl="zookeeper-servers" optional="true" />
<remote_servers incl="remote_servers" optional="true" />
<macros incl="macros" optional="true"/>
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

 注：在</clickhouse>之前

至此主服务器的ck配置完成

在ck启动前，先启动zk，避免注册不上zk

配置第二台clickhouse

为了快速配置，我们直接远程复制我们编辑过的文件 

scp config.xml 172.16.12.149:/etc/clickhouse-server/
scp metrika.xml 172.16.12.149:/etc/clickhouse-server/config.d/
编辑metrika.xml文件

编辑macros部分即可 

    <macros>
		<shard>02</shard>
		<replica>ck149</replica>
	</macros>
启动服务
systemctl start clickhouse.server

进入主机（装有zookeeper的服务器）

zkCli.sh

通过命令ls /可以看到自动注册了clickhouse组 

接下来就玩转一下集群吧

 Clickhouse建库

基础语句

连接客户端

clickhouse-client --host=localhost --port=9000 -m

创建数据库

CREATE DATABASE IF NOT EXISTS test01 ON CLUSTER test_cluster_shards;
  • 创建名称为test01的数据库。
  • 如果指定了 ON CLUSTER cluster 子句，那么在指定集群 cluster 的所有服务器上创建test01 数据库
  • ClickHouse 默认使用 Atomic 数据库引擎，即有默认值 ENGINE = Atomic

查看创建的数据库

show databases;
show create database test01;
#更详细的数据库列表信息
select * FROM system.databases;
创建本地物理表

格式

CREATE TABLE [IF NOT EXISTS] [db.]table_name ON CLUSTER cluster
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
    INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
    INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
) ENGINE = engine_name()
[PARTITION BY expr]
[ORDER BY expr]
[PRIMARY KEY expr]
[SAMPLE BY expr]
[SETTINGS name=value, ...];

项目描述

  • db：指定数据库名称，如果当前语句没有包含‘db’，则默认使用当前选择的数据库为‘db’。
  • cluster：指定集群名称，目前固定为default。ON CLUSTER 将在每一个节点上都创建一个本地表。
  • type：该列数据类型，例如 UInt32。
  • DEFAULT：该列缺省值。如果INSERT中不包含指定的列，那么将通过表达式计算它的默认值并填充它。
  • MATERIALIZED：物化列表达式，表示该列不能被INSERT，是被计算出来的； 在INSERT语句中，不需要写入该列；在SELECT *查询语句结果集不包含该列。
  • ALIAS ：别名列。这样的列不会存储在表中。 它的值不能够通过INSERT写入，同时使用SELECT查询星号时，这些列也不会被用来替换星号。 但是它们可以用于SELECT中，在这种情况下，在查询分析中别名将被替换。
  • 物化列与别名列的区别： 物化列是会保存数据，查询的时候不需要计算，而别名列不会保存数据，查询的时候需要计算，查询时候返回表达式的计算结果

以下选项与表引擎相关，只有MergeTree系列表引擎支持：

  • PARTITION BY：指定分区键。通常按照日期分区，也可以用其他字段或字段表达式。
  • ORDER BY：指定 排序键。可以是一组列的元组或任意的表达式。
  • PRIMARY KEY： 指定主键，默认情况下主键跟排序键相同。因此，大部分情况下不需要再专门指定一个 PRIMARY KEY 子句。
  • SAMPLE BY ：抽样表达式，如果要用抽样表达式，主键中必须包含这个表达式。
  • SETTINGS：影响 性能的额外参数。
  • GRANULARITY ：索引粒度参数。

示例 

CREATE TABLE test01.table_001_local ON CLUSTER 'test_cluster_shards' (
ts DateTime,
tvid Int32,
area Int32,
count Int32
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/test01/table_001_local/{shard}', '{replica}')
PARTITION BY toYYYYMMDD(ts) 
ORDER BY (ts,tvid,area);
创建分布式表

作用：用于分发数据

格式

CREATE TABLE [db.]table_name ON CLUSTER default 
AS db.local_table_name   
ENGINE = Distributed(<cluster>, <database>, <shard table> [, sharding_key])
  • db：数据库名。
  • local_table_name：对应的已经创建的本地表表名。
  • shard table：同上，对应的已经创建的本地表表名。
  • sharding_key：分片表达式。可以是一个字段，例如user_id（integer类型），通过对余数值进行取余分片；也可以是一个表达式，例如rand()，通过rand()函数返回值/shards总权重分片；为了分片更均匀，可以加上hash函数，如intHash64(user_id)

示例

CREATE TABLE test01.table_001 ON CLUSTER 'test_cluster_shards'  
AS test01.table_001_local  
ENGINE = Distributed(test_cluster_shards,test01,table_001_local,tvid);

 插入数据

insert into test01.table_001 values('2021-02-25 12:12:17',6,11010,100); 
insert into test01.table_001 values('2021-02-25 12:12:17',7,11010,100); 

在两台服务器上分别查询

可以看到查询到的数据是一样的

但是查询本地表时只看到本表的数据只有一条，这是由于分布式表分配算法

基于clickhouse-keeper的clickhouse 

clickhouse23版本后clickhouse自带clickhousekeeper，代替zookeeper

安装clickhouse

按照之前搭建单机版过程相同，区别在于安装时的版本不同

yum install clickhouse-common-static-24.3.2.23 -y --nogpgcheck
yum install clickhouse-client-24.3.2.23 -y --nogpgcheck
yum install clickhouse-server-24.3.2.23 -y --nogpgcheck

编辑hosts文件

vim /etc/hosts

添加内容

192.168.48.201 ck201
192.168.48.202 ck202

进入clickhouse-keeper文件夹

vim /etc/clickhouse-keeper/keeper-config.xml
 配置keeper文件
<listen_host>0.0.0.0</listen_host>

<keeper_server>
     <tcp_port>9181</tcp_port>
     <server_id>1</server_id>
      <raft_configuration>
                <server>
                    <id>1</id>
                    <hostname>ck201</hostname>
                    <port>9234</port>
                </server>
	            <server>
                    <id>2</id>
                    <hostname>ck202</hostname>
                    <port>9234</port>
                </server>
      </raft_configuration>
</keeper_server>
创建clickhouse-keeper路径
mkdir /var/lib/clickhouse-keeper
修改路径权限
chown -R clickhouse:clickhouse /var/lib/clickhouse-keeper/
启动keeper
systemctl start clickhouse-keeper

检测keeper是否启动

yum install -y nc
echo ruok | nc localhost 9181; echo imok
配置clickhouse-server

创建xml文件

vim /etc/clickhouse-server/config.d/clickhouse-keeper.xml

编辑内容 

<clickhouse>
<remote_servers>
      <cluster_2S_1R>
            <shard>
                <replica>
                    <host>ck201</host>
                    <port>9000</port>
                   
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>ck202</host>
                    <port>9000</port>
                   
                </replica>
            </shard>
        </cluster_2S_1R>
</remote_servers>    
    <zookeeper>
        <node>
            <host>ck201</host>
            <port>9181</port>
        </node>
        <node>
            <host>ck202</host>
            <port>9181</port>
        </node>
    </zookeeper>
 
</clickhouse>
修改config.xml文件
vim /etc/clickhouse-server/config.xml

跟单机版一样，删掉remote-server部分，解开部分代码注释

<listen_host>0.0.0.0</listen_host>
<interserver_listen_host>::</interserver_listen_host>

添加include_from配置

<include_from>/etc/clickhouse-server/config.d/clickhouse-keeper.xml</include_from>

重启服务

systemctl restart clickhouse-server

至此，基于clickhousekeeper的clickhouse配置完成

KiyotakaΦ
关注
  • 50
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据ClickHouse进阶（十四）：ClickHouse的HAVING和ORDER BY子句
Lansonli（蓝深李）的博客
09-22 1706
Order by 子句通过声明排序键来指定查询数据返回时的顺序。在MergeTree表引擎中指定order by 后，数据在各个分区内按照其定义的规则排序，这是一种分区内的局部排序，如果在查询时数据跨越了多个分区，则他们返回的顺序是无法预知的，每一次查询返回的顺序都有可能不同。这种情况下，如果希望数据总是能够按照期望的顺序返回，就需要借助Order by 子句来指定全局排序。ClickHouse也支持Having子句，需要与group by 同时出现，不能单独使用，它能够在聚合计算之后实现二次过滤数据。
clickhouse
11-19
### ClickHouse概述与关键特性 #### 一、ClickHouse简介 ClickHouse是一种列式数据库管理系统（DBMS），专为在线分析处理（OLAP）查询设计。相比于传统的行式数据库管理系统，ClickHouse通过优化数据存储方式提高...
探究下Clickhouse中的order by
轰轰烈烈的生活
02-22 7999
相邻的行通常具有相同的值，这些相同的值将被存储在一起，从而提高了数据的压缩率。此外，按照 ORDER BY 子句排序后的数据可以更好地支持某些查询操作，例如范围查询和TOP-N查询，从而减少了需要维护的索引结构，降低了存储空间的使用。具体而言，ORDER BY 子句指定了数据在物理存储中的排序方式，从而决定了数据的压缩率和碎片程度，进而影响数据的存储空间大小。需要注意的是，在使用 ORDER BY 子句时，需要根据实际的数据情况来选择排序键，以便最大限度地减少数据的存储空间。
ClickHouse中PRIMARY KEY和ORDER BY关键字的关系
最新发布
云笔记
07-06 623
在ClickHouse中，和ORDER BY关键字在表的创建过程中扮演着重要的角色，它们共同决定了数据在物理存储上的排序方式，这对查询性能有着直接的影响。理解它们之间的关系对于设计高效的ClickHouse表结构至关重要。
Clickhouse学习笔记（一）分区（Partition）和分片（Shard）
xiaocaij_icai的博客
10-05 4637
表中的数据可以按照指定的字段分区存储，每个分区在文件系统中都是都以目录的形式存在。常用时间字段作为分区字段，数据量大的表可以按照小时分区，数据量小的表可以在按照天分区或者月分区，查询时，使用分区字段作为Where条件，可以有效的过滤掉大量非结果集数据。
ClickHouse 建表create table时primary by与order by
热门推荐
祁东握力的博客
05-21 2万+
参考文章：https://cloud.tencent.com/developer/article/1604965 一、 ORDER BY 决定了每个分区中数据的排序规则; PRIMARY KEY 决定了一级索引(primary.idx); ORDER BY 可以指代PRIMARY KEY, 通常只用声明ORDER BY 即可。 MergeTree的主键（PRIMARY KEY）只是用来生成一级索引（primary.idx）的，并没有唯一性约束这样的语义。 Replacin...
如何合理使用ClickHouse分区表
neweastsun的专栏
04-20 6241
在Clickhouse中分区功能实现透明地将表拆分为多个块，并能够独立管理这些块(例如删除它们)。分区键应该始终为低基数表达式(如有几十个值)。不要仅为了提高查询性能而考虑分区，同时也要注意到分区表数据写入性能可能会降低。
Clickhouse学习之路（二）-- 分区、分片原理
BIackMamba的博客
08-05 7764
一．Clickhouse分区的概念 1.分区是表的分区，具体的DDL操作关键词是 PARTITION BY，指的是一个表按照某一列数据（比如日期）进行分区，对应到最终的结果就是不同分区的数据会写入不同的文件中。 2.ClickHouse支持PARTITION BY子句，在建表时可以指定按照任意合法表达式进行数据分区操作，比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。 3.数据Partition在ClickHouse中
ClickHouse中文文档
04-11
"ClickHouse中文文档" ClickHouse是⼀一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它的设计目的是为了适应OLAP场景的需求，具有高效的数据处理和存储能力。 列式数据库管理系统的特点是将数据按列存储，而...
Datax支持clickhouse
08-05
在标题提到的"Datax支持clickhouse"，意味着Datax已经扩展了对ClickHouse数据库的兼容性，使得我们可以利用Datax将数据从其他数据源导入到ClickHouse中。 ClickHouse是一款高性能的列式存储数据库管理系统（MPP），...
clickhouse安装包
01-19
ClickHouse是一款高性能、分布式列式数据库管理系统（Column-Oriented DBMS），主要应用于在线分析处理（OLAP）场景。它的设计目标是实现高并发查询、快速数据处理和大规模数据存储。在本文中，我们将深入探讨...
clickhouse.zip
09-22
Clickhouse是一款高性能的开源列式数据库管理系统（Column-Oriented DBMS），主要设计用于在线分析处理（OLAP）和实时大数据分析。它以其快速查询、高并发读取和大规模数据处理能力而闻名。在本压缩包`clickhouse....
ClickHouse数据分区：原理、策略与最佳实践
iwork168的博客
01-12 2719
本文深入探讨了ClickHouse在大数据分析中对数据分区的处理方式。通过对MergeTree引擎的数据分区原理和PARTITION BY子句的应用解析，文章详细介绍了数据分区的实现方法和策略，包括时间、表达式、哈希和范围分区。同时，分享了数据分区的最佳实践和案例分析，强调了根据数据特性和查询需求设计有效分区策略的重要性。文章还讨论了分区管理与优化，以及数据分区对查询性能的影响。最后，展望了ClickHouse数据分区功能的未来发展，并鼓励读者根据自身业务场景应用数据分区以提升数据分析效率。
clickhouse PARTITION操作
程志伟的博客
09-02 4555
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 ClickHouse server version 21.6.6 创建分区表 示例一：函数式分区 dblab-VirtualBox :) create table visits(userid int,visitdate date,website String) engine=MergeTree() PARTITION BY toYYYYMM(visitdate) order by userid; CREATE TABLE v.
【clickhouse实践】clickhouse中如何实现ROW_NUMBER() OVER(PARTITION BY ‘xxx‘ ORDER BY ‘xxx‘ DESC/ASC)
qq_41018861的博客
07-14 5389
0 背景 HIVE中我们经常使用窗口函数中的排序函数ROW_NUMBER() OVER(PARTITION BY 'xxx' ORDER BY 'xxx' DESC/ASC)对数据集生成顺序编号或者进行数据去重的操作。然而在Clickhouse中没有提供该功能的函数，那么在clickhouse我们要想实现类似的功能我们应该如何实现呢？今天我们就来用实例说明下在clickhouse该如何实现ROW_NUMBER()功能。 1 数据准备 1.1 Clickhouse数据准备 建表语句： CREATE TAB
clickhouse 分区表使用
congge_study的博客
03-29 1万+
clickhouse 分区表使用
【ClickHouse】row_number() over (partition by)的几种实现方法
J小白的博客
05-14 2万+
hive中有row_number() over (partition by)函数，可以一句SQL实现想要的排序，在ClickHouse中有很多种实现方式，本篇就介绍一下几种方法。 目录 1.row_number排序 2.row_number排序后取出rank=1的结果 3.特殊场景 1.row_number排序 HIVE中写法： select number, row_number() over (partition by number order by time...
Clickhouse数据表、数据分区partition的基本操作
Bulut0907
08-10 1万+
只有MergeTree系列、Merge、Distributed表引擎支持alter操作。测试表和测试数据的准备。
ClickHouse高级学习（三）Clickhouse引擎详解（待更新）
wade1010的专栏
01-10 701
bin压缩文件是由多个压缩数据块组成的，每个压缩数据块的体积，按照其压缩前的数据字节大小，都被严格控制在64KB~1MB，其上下限分别由min_compress_block_size 与 max_compress_block_size 参数指定，而压缩数据块最终大小，则和一个间隔内数据的实际大小相关。虽然数据被压缩后能够有效减少数据大小，降低存储空间并加速数据传输效率，但数据的压缩和解压动作，其本身也会带来额外的性能损耗，所以需要控制被压缩数据的大小，以求在性能损耗和压缩率之间寻求一种平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值