6.ClickHouse系列之配置副本集、分片集群

已于 2024-06-23 14:02:20 修改
阅读量902 收藏
点赞数
分类专栏： 大数据 文章标签： clickhouse java 服务器
于 2022-10-21 21:14:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJshenjian/article/details/127454093
版权

1. 副本集

1.1 编写clickhouse-replication.yml文件

该代码已上传至gitee,可克隆下来

# 副本集部署示例
version: '3'
services:
  zoo1:
    image: zookeeper
    restart: always
    hostname: zoo1
    ports:
      - 2181:2181
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet

  zoo2:
    image: zookeeper
    restart: always
    hostname: zoo2
    ports:
      - 2182:2181
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet
  zoo3:
    image: zookeeper
    restart: always
    hostname: zoo3
    ports:
      - 2183:2181
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet
  ck1:
    image: clickhouse/clickhouse-server
    container_name: ck1
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
      - ./logs/:/var/log/clickhouse-server
    ports:
      - 18123:8123 # http接口用
      - 19000:9000 # 本地客户端用
    depends_on:
      - zoo1
    networks:
      - ckNet
  ck2:
    image: clickhouse/clickhouse-server
    container_name: ck2
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
    ports:
      - 18124:8123 # http接口用
      - 19001:9000 # 本地客户端用
    depends_on:
      - zoo1
    networks:
      - ckNet

networks:
  ckNet:
    driver: bridge

其中config.d目录下ck_zk.xml配置如下

<?xml version="1.0" encoding="utf-8" ?>
<yandex>
    <zookeeper-servers>
        <node index="1">
            <host>zoo1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>zoo2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>zoo3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

对于config.xml主要新增以下三行

    <!-- 副本集配置新增该两行 -->
    <zookeeper incl="zookeeper-servers" optional="true"></zookeeper>
    <include_from>/etc/clickhouse-server/config.d/ck_zk.xml</include_from>

    <!-- 远程访问，windows可能不支持，可以打开下面 -->
    <!--     <listen_host>::</listen_host>-->

    <!-- Same for hosts without support for IPv6: -->
     <listen_host>0.0.0.0</listen_host>

1.2 创建表

datagrip工具连接127.0.0.1:18123与127.0.0.1:18124

分别创建表house,其中/clickhouse/table/01/house的01代表分片，rep_001为副本名称

CREATE TABLE house (
    id String,
    city String,
    region String,
    name String,
    price Float32,
    publish_date DateTime
) ENGINE=ReplicatedMergeTree('/clickhouse/table/01/house', 'rep_001') PARTITION BY toYYYYMMDD(publish_date) PRIMARY KEY(id) ORDER BY (id, city, region, name)
SETTINGS index_granularity=8192

CREATE TABLE house (
    id String,
    city String,
    region String,
    name String,
    price Float32,
    publish_date DateTime
) ENGINE=ReplicatedMergeTree('/clickhouse/table/01/house', 'rep_002') PARTITION BY toYYYYMMDD(publish_date) PRIMARY KEY(id) ORDER BY (id, city, region, name)
SETTINGS index_granularity=8192

此时，副本集的表已创建完成，通过prettyZoo工具可以看到副本rep_001与rep_002
副本

1.3 验证副本集

在副本rep_001表house中插入INSERT INTO house(name, price) VALUES ('场中小区', '59680');,
然后在副本rep_002中查询，可以看到数据已插入，反过来插入查询也一样结果

1.4 副本写入流程图

了解了怎么具体部署副本集，咱们现在了解下副本写入的流程

2
欢迎关注公众号算法小生或沈健的技术博客shenjian.online

2. 分片集群

副本集对数据进行完整备份，数据高可用，对于分片集群来说，不管是ES还是ClickHouse是为了解决数据横向扩展的问题，ClickHouse在实际应用中一般配置副本集就好了

2.1 编写clickhouse-shard.yml文件

具体代码已上传至gitee,可直接克隆使用

# 副本集部署示例
version: '3'
services:
  zoo1:
    image: zookeeper
    restart: always
    hostname: zoo1
    ports:
      - 2181:2181
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet

  zoo2:
    image: zookeeper
    restart: always
    hostname: zoo2
    ports:
      - 2182:2181
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet
  zoo3:
    image: zookeeper
    restart: always
    hostname: zoo3
    ports:
      - 2183:2181
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - ckNet
  ck1_1:
    image: clickhouse/clickhouse-server
    container_name: ck1_1
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./1_1/config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
    ports:
      - 18123:8123 # http接口用
      - 19000:9000 # 本地客户端用
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      - ckNet
  ck1_2:
    image: clickhouse/clickhouse-server
    container_name: ck1_2
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./1_2/config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
    ports:
      - 18124:8123 # http接口用
      - 19001:9000 # 本地客户端用
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      - ckNet
  ck2_1:
    image: clickhouse/clickhouse-server
    container_name: ck2_1
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./2_1/config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
    ports:
      - 18125:8123 # http接口用
      - 19002:9000 # 本地客户端用
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      - ckNet
  ck2_2:
    image: clickhouse/clickhouse-server
    container_name: ck2_2
    ulimits:
      nofile:
        soft: "262144"
        hard: "262144"
    volumes:
      - ./2_2/config.d:/etc/clickhouse-server/config.d
      - ./config.xml:/etc/clickhouse-server/config.xml
    ports:
      - 18126:8123 # http接口用
      - 19003:9000 # 本地客户端用
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      - ckNet


networks:
  ckNet:
    driver: bridge

修改config.xml导入的文件名称为metrika_shard

 <include_from>/etc/clickhouse-server/config.d/metrika_shard.xml</include_from>

2.2 分片副本具体配置

我们配置了了2个分片，每个分片1个副本，目录如下

1

每个目录下metrika_shard.xml配置如下

<?xml version="1.0" encoding="utf-8" ?>
<yandex>
    <remote_servers>
        <shenjian_cluster>
            <!-- 分片1 -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <!-- 第一个副本 -->
                    <host>ck1_1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <!-- 第二个副本,生产环境中不同副本分布在不同机器 -->
                    <host>ck1_2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <!-- 分片2 -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>ck2_1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>ck2_2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </shenjian_cluster>
    </remote_servers>
    <zookeeper-servers>
        <node index="1">
            <host>zoo1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>zoo2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>zoo3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
    <!-- 分片副本标识 -->
    <macros>
        <shard>01</shard>
        <replica>rep-01-01</replica>
    </macros>
</yandex>

对于其他三个，只需要修改shard replica标识即可

<macros>
        <shard>01</shard>
        <replica>rep-01-02</replica>
</macros>

<macros>
        <shard>02</shard>
        <replica>rep-02-01</replica>
</macros>

<macros>
        <shard>02</shard>
        <replica>rep-02-02</replica>
</macros>

OK,至此为止，可以docker-compose -f clickhouse-shard.yml up -d启动了

2.3 创建表

请将shenjian_cluster改为自己集群的名称，也就是metrika_shard.xml中remote_servers子标签，shard与replica无需改动，clickhouse会自动查找匹配的配置，为此集群下所有节点创建该表

CREATE TABLE house ON CLUSTER shenjian_cluster
(
    id String,
    city String,
    region String,
    name String,
    price Float32,
    publish_date DateTime
) ENGINE=ReplicatedMergeTree('/clickhouse/table/{shard}/house', '{replica}') PARTITION BY toYYYYMMDD(publish_date) PRIMARY KEY(id) ORDER BY (id, city, region, name)

创建后，可以看到所有节点【127.0.0.1:18123 127.0.0.1:18124 127.0.0.1:18125 127.0.0.1:18126】都存在了该表，正确

2.4 创建distribute表

CREATE TABLE distribute_house ON CLUSTER shenjian_cluster
(
    id String,
    city String,
    region String,
    name String,
    price Float32,
    publish_date DateTime
) ENGINE=Distributed(shenjian_cluster, default, house, hiveHash(publish_date))
  • house： 表名
  • hiveHash(city): 分片键

2.5 新增数据验证分片集群

INSERT INTO distribute_house(city, name, price, publish_date) VALUES ('上海', '场中小区', 59680, '2022-08-01'),
                                            ('上海', '汤臣一品', 259680, '2022-08-01'),
                                            ('临沂', '滨河名邸', 10000, '2021-08-01'),
                                            ('临沂', '中泰广场', 15000, '2020-08-01');

2

OK,分片集群成功，快给自己鼓掌吧！！！！

欢迎关注公众号算法小生或沈健的技术博客shenjian.online

算法小生Đ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
clickhouse集群配置.zip
12-26
4. 副本数量：在集群中，每个分片通常会有多个副本，以确保高可用性和容错性。你可以根据业务需求和硬件资源来设定副本的数量。 5. ZooKeeper配置：ZooKeeper是一个分布式协调服务，ClickHouse使用它来管理和同步...
clickhouse集群部署说明-ck集群
04-17
clickhouse集群部署说明-ck集群，clickhouse 集群部署以及建表语句，分布式
Clickhouse高可用集群版三节点两副本部署
09-19 1742
集群版多副本部署，高权限用户追加
ClickHouse基础知识（六）：ClickHouse的副本配置
zuodingquan666的博客
12-29 1113
副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以 从其他服务器获得相同的数据。
clickhouse的集群部署
最新发布
ecloud_developer的博客
05-27 866
因为已经配置了zookeeper，所以创建表的DDL语句也会同步到其他节点上。任选一台机器，创建一个 ReplicatedMergeTree 引擎的测试表，测试 ZooKeeper 同步功能。不用也可以，但建议还是使用。配置文件是热更新的，所以修改配置后无需要重启服务，除非是首次启动 ClickHouse。，准备搭建一个3分片2副本集群，当然也可根据你自己实际情况选择机器数量。根据每台机器的分片副本，配置。（一定要看，本人亲自搭建过，一步一步来，不会有问题）如果集群部署成功，你会看到所有机器的信息。
ClickHouse--分布式查询多副本的路由规则
dkjhl的博客
03-09 999
在集群情况下，数据写入可以有写本地表和写分布式表2种方案，但是面向集群查询时，只能通过Distributed表引擎实现。本文主要介绍分布式查询多副本的路由规则。阐述errors_count在分布式查询的重要作用，让服务停服后能够将请求发往其他副本节点上
clickhouse（一）两分片两副本集群搭建
Interest1_wyt的博客
08-08 3370
最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。 1、准备三台虚拟机，分别安装clickhouse的服务端和客户端 这里的安装过程是纯粹拷贝的官网命令，首先验证虚拟机是否支持clickhouse的安装： grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supporte...
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
shuyv的博客
01-04 1774
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
【ClickHouse】-03.副本与分片-分片篇
Pushkin.的博客
09-24 1450
【ClickHouse】-03.副本与分片-分片篇 数据分片 distributed原理解析
clickhouse四种集群方案
隐0士的博客
07-12 2763
我这里准备了四台机器，准备搭建3分片2副本集群（其中只有一台机器有副本，其他两台没有副本） 机器ip信息如下所示：用这个环境来分别部署以下集群来进行验证，至于集群的部署在本文不细说。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wzQ9yFIc-1657597822191)(upload\image-20220708174015397.png)]集群中只有一个分片，多个节点组成此分片的副本，每个节点保留全量的数据，通过在创建Distributed表不声明分片键实现全量写入读：
ClickHouse数据库实战视频.zip
04-11
13.ClickHouse分布式集群实战2（分片-副本复制） 14.ClickHouse分布式集群实战3-1-ZK集群1 15.ClickHouse分布式集群实战3-2-ZK集群2 16.ClickHouse分布式集群实战3-3（分片副本） 17.ClickHouse分布式集群实战3-4...
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
对于mongos，它是客户端与分片集群之间的路由服务，配置文件同样包括数据和日志路径，以及`configdb`参数，它指定了config server的地址。 启动MongoDB服务时，我们需要先启动config servers，然后启动mongos。这样...
clickhouse文档.docx
09-17
然后，在每台机器的/etc/clickhouse-server/config.xml文件中配置集群信息，创建一个名为`clickhouse_remote_servers`的节，并定义数据分片和副本。每个分片包含一个或多个副本，每个副本指定主机名、端口、用户名和...
ClickHouse基础知识（七）：ClickHouse的分片集群
zuodingquan666的博客
01-02 2031
副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的没有解决。要解决数据水平切分的问题，需要引入分片的概念。通过分片把一份完整的数据进行切 分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。，有点类似于 MyCat 之于 MySql，成为一种中间 件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。
clickhouse副本和分片
浪子huang
06-24 2057
title: clickhouse副本和分片 date: 2021-02-20 16:48:02 categories: 数据库 tags: clickHouse 副本和分片是在很多分布式系统中都有，首先简单来看看他们的概念。 副本：数据结构相同，数据相同（数据层面的备份冗余） 分片：数据结构相同，数据不同。（数据量层面水平切分） 集群是副本和分片的基础，它将ClickHouse的服务拓扑由单节点延伸到多个节点，但它并不像Hadoop 生态的某些系统那样，要求所有节点组成一个单一的大集群。ClickH.
clickhouse-3分片3副本搭建
qq_41767351的博客
12-01 176
10.2.0.151分片 + 153的副本。10.2.0.152分片 + 151的副本。10.2.0.153分片 + 152的副本。
ClickHouse学习笔记之分片集群
四国棋客
10-08 1592
副本虽然可以提高数据的可用性，但每台服务器必须容纳全量数据，没有支持数据的横向扩容。要解决数据水平切分问题，需要引入分片的概念，通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过分布表引擎把数据拼接起来使用。分布引擎本身不存储数据，而是通过分布式逻辑进行不同分片的分布式数据的写入、分发和路由。因为ClickHouse的集群是表级别的，所以实际企业大部分做了高可用，但没有分片，以避免降低查询性能和操作集群的复杂度。
ClickHouse-6（集群部署）
getBinary的博客
12-12 1966
集群部署副本配置分片集群 副本配置 在前面三台节点安装ClickHouse的基础上，可以配置数据副本，保障数据的高可用性 ClickHouse是没有主副节点的区分的，所以配置副本后，所有节点都可以读取/写入数据，节点之间通过zookeeper通信，发现互相之间数据有差异时会互相同步数据，保证数据一致 数据副本配置流程： cd /etc/clickhouse-server/config.d vim metrika.xml # 这里是个外部配置文件，名字不是指定的 在配置文件中指定三个节点的zookeepe
clickhouse单节点以及集群的安装
persistence_PSH的博客
11-27 2094
​ 在clickhouse集群中，没有主从一说，所有的节点都是主，相互之间互为副本，某一个节点的数据发生变化，就会提交写日志给zookeeper，其他节点就会从zookeeper监听到数据发生了变化，然后从数据发生变化的节点同步数据。Centos取消SELINUX（linux的一种安全机制，非常强大，但是也非常麻烦），是内核级别的东西，必须重启，也可以设置为临时生效，等下次服务器维护重启，配置自然也生效了。分片，下面是资源不够用的情况，只有3个节点，没有副本。在 中编辑。
clickhouse三分片三副本的配置
05-26
在 ClickHouse 中进行分片和副本的配置可以通过以下步骤实现： 1. 首先需要在 ClickHouse 集群中创建一个 ZooKeeper 集群。可以使用 Apache ZooKeeper 来实现。需要确保 ZooKeeper 在集群中的所有节点上都已经安装并正在运行。 2. 然后需要在 ClickHouse 集群中创建一个分布式表。可以使用以下命令来创建一个名为 my_table 的表： ``` CREATE TABLE my_table ( key UInt32, value String ) ENGINE = Distributed('my_cluster', default, my_table', rand()); ``` 其中，my_cluster 是 ClickHouse 集群中的名称，default 是默认分片键，rand() 是随机分片函数。 3. 接下来需要在 ClickHouse 集群中创建分片。可以使用以下命令来创建三个分片： ``` CREATE TABLE my_table_1 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; CREATE TABLE my_table_2 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; CREATE TABLE my_table_3 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; ``` 其中，/clickhouse/tables 是 ClickHouse 集群中的默认表路径，{shard} 是分片的名称，{replica} 是副本的名称。 4. 最后需要在每个分片中创建三个副本。可以使用以下命令来创建三个副本： ``` ALTER TABLE my_table_1 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_1 ADD REPLICA 'node2:9000'; ALTER TABLE my_table_1 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node2:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node2:9000'; ``` 其中，node1、node2、node3 是 ClickHouse 集群中的节点名称，9000 是节点的端口号。 完成以上步骤后，ClickHouse 集群将会具有三个分片和每个分片的三个副本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

算法小生Đ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值