clickhouse多磁盘存储

最新推荐文章于 2024-05-27 18:08:56 发布
最新推荐文章于 2024-05-27 18:08:56 发布
阅读量3.3k 收藏 15
点赞数 3
分类专栏： ClickHouse专栏 文章标签： java python hadoop 大数据 linux 
原文链接????：https://www.jianshu.com/p/72b0c9bd3967

早期 clickhouse 仅支持单一存储设备，19.15 版本以后支持将数据分别保存在不同的存储设备，且能够自动在不同设备间移动数据。使 clickhouse 可以实现阶梯式多层存储，即将冷热数据分离，将冷热数据分别保存在不同类型的存储设备中。

日常交互式查询中，95% 查询访问近几天的数据，剩下 5% 的跑一些长周期批处理任务。我们可以通过阶梯式多层存储，将最新的热点数据放在高性能介质如 SSD，旧的历史数据放在廉价的机械硬盘中。此外，将数据存在多个存储设备中，以扩展服务器的存储能力，clickhouse 也能够自动在不同存储设备之间移动数据。

每张 MergeTree 表都有一个存储策略，用以规定该表数据如何写入；策略将不同的磁盘分到一个或多个卷中，并规定了数据的写入顺序以及如何在磁盘之间移动数据。

如果没有特别指定，每一个表都有一个默认的存储策略default，该策略将数据存储在配置文件中path指定的路径下。

初始状态在clickhouse配置文件中指定了数据存放目录为：

/home/work/bigdata/clickhouse/data/

启动客户端并查看当前clickhouse感知到的磁盘目录：

SELECT 
    name, 
    path, 
    formatReadableSize(free_space) AS free, 
    formatReadableSize(total_space) AS total, 
    formatReadableSize(keep_free_space) AS reserved
FROM system.disks

┌─name────┬─path────────────────────────────────┬─free─────┬─total────┬─reserved─┐
│ default │ /home/work/bigdata/clickhouse/data/ │ 1.16 TiB │ 3.52 TiB │ 0.00 B   │
└─────────┴─────────────────────────────────────┴──────────┴──────────┴──────────┘

1 rows in set. Elapsed: 0.040 sec.

在服务器上挂载了额外的磁盘：

$ lsblk

NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sdb      8:16   0   3.7T  0 disk 
`-sdb1   8:17   0   3.7T  0 part /home/disk0
sdc      8:32   0   3.7T  0 disk 
`-sdc1   8:33   0   3.7T  0 part /home/disk1
sdd      8:48   0   3.7T  0 disk 
`-sdd1   8:49   0   3.7T  0 part /home/disk2
sde      8:64   0   3.7T  0 disk 
`-sde1   8:65   0   3.7T  0 part /home/disk3
sdf      8:80   0   3.7T  0 disk 
`-sdf1   8:81   0   3.7T  0 part /home/disk4
sdg      8:96   0   3.7T  0 disk 
`-sdg1   8:97   0   3.7T  0 part /home/disk5
sdh      8:112  0   3.7T  0 disk 
`-sdh1   8:113  0   3.7T  0 part /home/disk6

在每个磁盘中创建对应的存放clickhouse数据的目录，并修改目录所有者为click house用户

mkdir -p /home/disk0/clickhouse/
chown -R clickhouse.clickhouse /home/disk0/clickhouse/

修改clickhouse服务配置文件 /etc/clickhouse-server/config.xml增加上述磁盘

<yandex>
    <storage_configuration>
         <disks>
             <disk_name_0> <!-- disk name -->
                 <path>/home/disk0/clickhouse/</path>
             </disk_name_0>
             <disk_name_1>
                 <path>/home/disk1/clickhouse/</path>
             </disk_name_1>
             <disk_name_2>
                 <path>/home/disk2/clickhouse/</path>
             </disk_name_2>
             <disk_name_3>
                 <path>/home/disk3/clickhouse/</path>
             </disk_name_3>
             <disk_name_4>
                 <path>/home/disk4/clickhouse/</path>
             </disk_name_4>
             <disk_name_5>
                 <path>/home/disk5/clickhouse/</path>
             </disk_name_5>
             <disk_name_6>
                 <path>/home/disk6/clickhouse/</path>
             </disk_name_6>
         </disks>
    </storage_configuration>
</yandex>
重启clickhouse服务

service clickhouse-server stop
service clickhouse-server start

此时再查看clickhouse感知到的磁盘目录

SELECT 
    name, 
    path, 
    formatReadableSize(free_space) AS free, 
    formatReadableSize(total_space) AS total, 
    formatReadableSize(keep_free_space) AS reserved
FROM system.disks

┌─name────────┬─path────────────────────────────────┬─free─────┬─total────┬─reserved─┐
│ default     │ /home/work/bigdata/clickhouse/data/ │ 1.34 TiB │ 3.52 TiB │ 0.00 B   │
│ disk_name_0 │ /home/disk0/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_1 │ /home/disk1/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_2 │ /home/disk2/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_3 │ /home/disk3/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_4 │ /home/disk4/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_5 │ /home/disk5/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
│ disk_name_6 │ /home/disk6/clickhouse/             │ 3.58 TiB │ 3.58 TiB │ 0.00 B   │
└─────────────┴─────────────────────────────────────┴──────────┴──────────┴──────────┘
可以看到，除了原有的默认路径外，新增了我们新挂载的磁盘目录。

通过上述操作，为clickhouse配置了多个磁盘，但是仅仅这些并不能让表中的数据存在配置的多个磁盘中，可以通过试验观察：

CREATE TABLE sample1
(
    `id` UInt64
)
ENGINE = MergeTree
ORDER BY id

Ok.

0 rows in set. Elapsed: 2.467 sec. 

INSERT INTO sample1 SELECT *
FROM numbers(1000000)

← Progress: 1.05 million rows, 8.39 MB (10.84 million rows/s., 86.74 MB/s.)  99%Ok.

0 rows in set. Elapsed: 0.097 sec. Processed 1.05 million rows, 8.39 MB (10.84 million rows/s., 86.70 MB/s.) 

SELECT 
    name, 
    data_paths
FROM system.tables
WHERE name = 'sample1'

┌─name────┬─data_paths───────────────────────────────────────────────────┐
│ sample1 │ ['/home/work/bigdata/clickhouse/data/data/default/sample1/'] │
└─────────┴──────────────────────────────────────────────────────────────┘

SELECT 
    name, 
    disk_name, 
    path
FROM system.parts
WHERE (table = 'sample1') AND active

┌─name──────┬─disk_name─┬─path───────────────────────────────────────────────────────────────┐
│ all_1_1_0 │ default   │ /home/work/bigdata/clickhouse/data/data/default/sample1/all_1_1_0/ │
└───────────┴───────────┴────────────────────────────────────────────────────────────────────┘
可以看到该表数据仍然只保存在一个目录中，因为如果不加指定，clickhouse的表有一个默认的单一存储策略default：

SELECT 
    policy_name, 
    volume_name, 
    disks
FROM system.storage_policies

┌─policy_name─┬─volume_name─┬─disks───────┐
│ default     │ default     │ ['default'] │
└─────────────┴─────────────┴─────────────┘
为了使多个磁盘生效，仍需两个工作：

  1. 在配置文件中制定存储策略，并通过卷标签来组织多个磁盘

  2. 建表时通过SETTINGS storage_policy=’’来为表指定存储策略

JBOD（“Just a Bunch of Disks”），通过将多个磁盘分配在一个卷中，每次插入数据所生成的data part会以轮询的方式依次写入这些磁盘，该策略的优点：

  1. 通过直接追加磁盘的形式，可以便捷地扩展存储能力

  2. 在多线程并行访问多个不同磁盘时，可以提升读写速度

  3. 由于每个磁盘上的data parts变少，可以加快表的加载速度

在配置文件中添加如下的存储策略配置，并重启clickhouse服务。

<policies>
  <policy_name_1>
    <volumes>
      <volume_name_0>
        <disk>disk_name_0</disk>
        <disk>disk_name_1</disk>
        <disk>disk_name_2</disk>
        <disk>disk_name_3</disk>
        <disk>disk_name_4</disk>
        <disk>disk_name_5</disk>
        <disk>disk_name_6</disk>
      </volume_name_6>
    </volumes>
  </policy_name_1>
</policies>

可以看到此时已经多了一个包含多磁盘的存储策略

SELECT policy_name,
       volume_name,
       disks
  FROM system.storage_policies


┌─policy_name───┬─volume_name───┬─disks───────────────────────────────────────────────────────────────────────────────────────────────┐
│ default       │ default       │ ['default']                                                                                         │
│ policy_name_1 │ volume_name_0 │ ['disk_name_0','disk_name_1','disk_name_2','disk_name_3','disk_name_4','disk_name_5','disk_name_6'] │
└───────────────┴───────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────┘
创建新表并进行测试

CREATE TABLE sample3 (id UInt64) 
Engine=MergeTree 
ORDER BY id 
SETTINGS storage_policy = 'policy_name_1';

SELECT
    name,
    data_paths,
    metadata_path,
    storage_policy
FROM system.tables
WHERE name = 'sample3';

┌─name────┬─data_paths─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─metadata_path───────────────────────────────────────────────────┬─storage_policy─┐
│ sample3 │ ['/home/disk0/clickhouse/data/default/sample3/','/home/disk1/clickhouse/data/default/sample3/','/home/disk2/clickhouse/data/default/sample3/','/home/disk3/clickhouse/data/default/sample3/','/home/disk4/clickhouse/data/default/sample3/','/home/disk5/clickhouse/data/default/sample3/','/home/disk6/clickhouse/data/default/sample3/'] │ /home/work/bigdata/clickhouse/data/metadata/default/sample3.sql │ policy_name_1  │
└─────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────────┴────────────────┘

insert into sample3 select * from numbers(1000000);
insert into sample3 select * from numbers(1000000);
insert into sample3 select * from numbers(1000000);
insert into sample3 select * from numbers(1000000);

select name, disk_name, path from system.parts where table = 'sample3';

┌─name──────┬─disk_name───┬─path───────────────────────────────────────────────────┐
│ all_1_1_0 │ disk_name_0 │ /home/disk0/clickhouse/data/default/sample3/all_1_1_0/ │
│ all_2_2_0 │ disk_name_1 │ /home/disk1/clickhouse/data/default/sample3/all_2_2_0/ │
│ all_3_3_0 │ disk_name_2 │ /home/disk2/clickhouse/data/default/sample3/all_3_3_0/ │
│ all_4_4_0 │ disk_name_3 │ /home/disk3/clickhouse/data/default/sample3/all_4_4_0/ │
└───────────┴─────────────┴────────────────────────────────────────────────────────┘
该表的多磁盘存储已经生效，且插入的测试数据也依次写入到多个磁盘中，
注意元数据仍然存在默认磁盘目录中。后台的合并任务会定期合并这些小的
data parts 并生成更大的data parts，同样采用轮询的方式写入这些磁盘中。
可以手动触发合并任务的执行：

OPTIMIZE TABLE sample3


Ok. 0 rows in set. Elapsed: 0.148 sec. Processed: 0 rows, 0.0B (0 rows/s, 0.0B/s)

SELECT
    name,
    disk_name,
    path
FROM system.parts
WHERE (table = 'sample3') AND active;

┌─name──────┬─disk_name───┬─path───────────────────────────────────────────────────┐
│ all_1_4_1 │ disk_name_4 │ /home/disk4/clickhouse/data/default/sample3/all_1_4_1/ │
└───────────┴─────────────┴────────────────────────────────────────────────────────┘

识别下方二维码，回复“资料全集”，即可获得下载地址。

小晨说数据
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【clickhouse】clickhouse配置多块磁盘
九师兄
12-04 1988
1.概述 转载：clickhouse配置多块磁盘 最近让运维同学新搭了一个clickhouse集群，每台服务器都配置了多块磁盘，但是使用的时候还是按照以前的方式是使用的，导致系统盘空间不够。特此记录一下配置和使用方法。 2.集群配置 执行lsblk命令，可以看到本地机器的磁盘信息: 主要需要修改的地方是config.xml文件，在配置文件中插入以下格式的语句： <!-- 存储路径 --> <storage_configuration> <disks> <d.
ClickHouse多级磁盘和冷热数据分离实践
叱咤少帅的博客
09-04 1336
ClickHouse冷热数据分离实践
对比MySQL和ES后，毫不犹豫把百亿数据存到ClickHouse了
meser88的博客
10-11 1593
总的来说：一级索引和标记文件一一对齐，两个 索引标记之间的数据，就是一个数据区间，在数据文件中，这个数据区间的所有数据，生成一个压缩数据块。每列压缩数据文件，存储每一列的数据，每一列字段都有独立的数据文件，每一列都有对应的标记文件，保存了列压缩文件中数据的偏移量信息，与稀疏索引对齐，又与压缩文件对应，建立了稀疏索引与数据文件的映射关系。ClickHouse 通过分片，将一张表的数据水平分割在不同的节点上，随着业务的发展，当表数据的大小增加到很大时，也能够通过水平扩容， 保证数据的存储。
clickhouse——ck目录介绍
最新发布
zyjzyjjyzjyz的博客
05-27 570
服务端的配置文件目录，包括全局配置config.xml和用户配置users.xml等。默认的数据存储目录（通常会修改默认路径配置，将数据保存到大容量磁盘挂载的路径）默认保存日志的目录（通常会修改路径配置，将日志保存到大容量磁盘挂载的路径）4、/usr/binclickhouse 主程序的可执行文件clickhouse-client 一个指向clickhouse可执行文件的软链接，供客户端连接使用clickhouse-server 一个指向clickhouse可执行文件的软连接，供服务端启动使用。
Clickhouse多磁盘存储
三思的博客
02-26 2427
文章目录一、配置多磁盘存储1、默认情况下，ck单磁盘存储2、配置多磁盘3、多磁盘系统信息查询二、配置多磁盘策略1、默认磁盘存储策略2、配置多磁盘存储策略3、磁盘存储策略系统信息查询三、多磁盘存储使用1、多磁盘存储表2、多磁盘数据迁移 一、配置多磁盘存储 默认情况下,我们会子在配置文件config.xml文件中指定的xxx/目录为我们的数据目录，该磁盘在ck中为default存储设备。所有的建表、数据写入默认都写入到我们指定的default目录下。 从19.15版本开始，ck开始支持多卷存储的功能，我们可以将
Clickhouse设置多磁盘存储策略
高云平的博客
11-22 1212
clickhouse安装完成以后，配置了一个默认的存储空间， 这个只能配置一个目录，如果要使用多个磁盘目录，则需要配置磁盘组策略。
2 ClickHouse 存储策略
feidododekefu的博客
11-02 1212
2 ClickHouse 存储策略
架构设计参考项目系列主题：ClickHouse 冷热分离存储在得物
Larry的博客
10-24 932
得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展，日志场景逐步产生了一些新需求，主要表现在：应用数量逐步增多，研发需要打印更多的日志定位业务问题，安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛，我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse，以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估，本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
Clickhouse基础知识
05-26
3. 工作目录：/var/lib/clickhouse (通常会修改数据存储目录，更换为大容量磁盘挂载的路径) 4. 存放数据：data 文件 5. 日志目录：/var/log/clickhouse-server ClickHouse 的数据类型： 1. Int8：tinyint (-128,...
clickhouse.zip
09-22
5. **配置Clickhouse**：Clickhouse可以通过配置文件进行个性化设置，如数据存储路径、网络监听端口、用户访问控制等。`clickhouse.zip`中的文件可能包含示例配置或定制的配置文件，需要根据实际情况进行调整。 6. ...
ClickHouse文档.docx
05-08
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的用于在线分析处理查询（OLAP :Online Analytical Processing）MPP架构的列式存储数据库（DBMS：Database Management System），能够使用 SQL 查询实时生成分析数据...
clickhouse资料
02-14
2. **安装与配置**：指导如何在不同的操作系统上安装ClickHouse，并进行基本的配置，包括设置内存、磁盘空间和网络参数等。 3. **表引擎**：ClickHouse支持多种表引擎，如MergeTree、Log、Memory等，每种引擎有其...
clickhouse-rpm安装包 clickhouse安装包
02-12
3. **存储配置**：ClickHouse对硬盘空间有较高要求，因此在安装前要确保有足够的磁盘空间。 4. **数据安全**：考虑设置合适的权限和防火墙规则，保护ClickHouse服务的安全。 5. **监控和日志**：安装后，配置监控...
技术分享 | ClickHouse 冷热存储分离方案线上实践
杨建荣的学习笔记
11-27 381
作者：任坤现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。本文来源：原创投稿* 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。1、背景线上某clickhouse集群，最早采用SAS机器，后来因为容量不足又陆续添加了4台SATA机器。最后的架构演变为5分片 * 2副本，包括6台SAS和4台...
clickhouse的多路径存储策略
奔跑的蜗牛的博客
03-01 854
HOT/COLD策略，由多个disk组成volume组。每当一个新数据分区生成的时候，按照阈值(max_data_part_size_bytes)的大小，分区目录会按照volume组中定义的顺序依次写入。JBOD策略，每当生成一个新数据分区的时候，分区目录会根据volume中定义的disk顺序依次轮询并写入各个disk。合并分区或者一次性写入的分区大小超过max_data_part_size_bytes，也会被写入到COLD卷中。虽然MergeTree定义完存储策略后不能修改，但却可以移动分区。
Clickhouse的多磁盘多路径存储策略
Bulut0907
07-14 3530
目录1. 背景2. 实战练习2.1 修改config.xml2.2 重启clickhouse server2.3 验证配置成功2.4 jbod策略使用2.4 hot/cold策略使用2.5 分区part的移动 更多关于Clickhouse的文章可以查看Clickhouse专栏系列文章 1. 背景 我们前面安装Clickhouse集群的时候，配置的数据path都是单路径，这里我们学习配置多磁盘上的存储路径，可以减轻磁盘的压力，增加写入和读取的性能 [root@clickhouse1 ~]# [root@
ClickHouse多卷存储策略
style_boy的博客
03-12 1541
从 19.15 版本开始，ClickHouse 开始实现多卷存储的功能。 主要是将数据分层存储，比如冷热数据分层存储，数据分不同卷存储等等。话不多说，开干~ 1 准备环境 添加三块新磁盘： /dev/sdb 20G /dev/sdc 20G /dev/sdd 30G echo "- - -" > /sys/class/scsi_host/host1/scan echo "- - -" > /sys/class/scsi_host/host0/scan echo "- - -" >
Clickhouse冷热配置
S1124654的博客
09-08 440
Clickhouse冷热配置
clickhouse简介
隐0士的博客
07-09 910
OLAP名为联机分析，又可以称为多维分析，是由关系型数据库之父埃德加·科德（Edgar Frank Codd）于1993年提出的概念。顾名思义，它指的是通过多种不同的维度审视数据，进行深层次分析。为了实现上述这些操作，将常见的OLAP架构大致分成两类。第一类架构称为ROLAP（Relational OLAP，关系型OLAP）。顾名思义，它直接使用关系模型构建，数据模型常使用星型模型或者雪花模型，多维分析的操作，可以直接转换成SQL查询，但是这种架构对数据的实时处理能力要求很高，在大数据量下执行的sql查询会
clickhouse底层存储
03-28
ClickHouse的底层存储结构由多个文件组成，其中包括： 1. 数据文件（.bin）：存储实际的数据内容，按列进行存储，并使用压缩算法进行压缩。 2. 索引文件（.mrk）：存储数据文件中每个块的元数据信息，用于加速查询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值