k8s上的clickhouse集群部署并创建分布式表(附详细参数说明和参考链接)

本文详细介绍了如何在Kubernetes(k8s)上部署ClickHouse集群,包括制作Docker镜像、创建configmap、设置service和pods,以及创建分布式表。参照给出的配置文件和参数说明,通过设置remote_servers.xml、zookeeper.xml和user.xml等,实现ClickHouse集群的配置。此外,还讲解了创建分布式表的步骤和注意事项,以及解决可能遇到的问题,如Zookeeper连接问题和副本同步问题。
摘要由CSDN通过智能技术生成

部署总体参考:https://blog.csdn.net/tototuzuoquan/article/details/111305125
clickhouse的配置文件相关解读:https://www.cnblogs.com/zhoujinyi/archive/2004/01/13/12627780.html

流程简介

  1. 制作docker镜像,添加一个脚本,来在每个机器上生成不同的macros.xml,方便创建副本表。
  2. 创建configmap,data部分包含用于配置集群的remote_servers.xml、用于连接zookeeper的zookeeper.xml,这两个文件会被挂载在clickhouse的config.d目录下,然后会覆盖config.xml的相关内容;
    data部分还包含users.xml,用于设置用户的账号密码和可使用的内存,会覆盖到clickhouse的user.xml中。
  3. 创建statefulset,docker使用yandex/clickhouse-server:19.11.3.11,通过replicas来设置副本数,要和remote_servers.xml相对应,同时设置持久化卷的挂载。
  4. 创建service,在selector.app中设置第二部的statefulset,将spec.type设置为ClusterIP只在集群内使用,clusterIP设置为None,通过DNS解析service名来访问。

制作docker镜像

参考

  • Linux设置值:https://www.cnblogs.com/newlangwen/p/7290541.html
  • Linux中awk和substr:https://blog.csdn.net/CSNDRYL/article/details/77223144?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control

步骤:在同一目录下创建macros.xmlDockerfilerun.sh,内容如下,目的是为了让每个机器的macros.xml都不一样。

macros.xml:
此时都是一样的,docker启动后,使用脚本来改变值。

<yandex>
    <macros replace="replace">
        <shard>shard0</shard>
        <replica>REPLICA_1</replica>
    </macros>
</yandex>

Dockerfile

FROM yandex/clickhouse-server:20.8
ADD ./macros.xml /etc/clickhouse-server/config.d/
ADD ./run.sh /opt
CMD ["sh","/opt/run.sh"]
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

run.sh:

  • 第一句是设置一个值,在集群中可知hostnameclickhouse-0clickhouse-1clickhouse-2这样的,awk就是对前面echo的值进行操作,substr的第一个参数表示第一行,第二个参数表示位置,从第几个字符开始取,第三个参数表示取一个,所以就可以分别得到0 1 2了。
  • 第三句是替换文本内容,将REPLICA_NAME替换成replica$NODE_ID
  • 第四句gosu,类似sudo,用于启动命令
#!/bin/bash
NODE_ID=$(echo $(hostname) | awk '{print substr($0,length,1)}')
echo "NODE_ID is $NODE_ID"

sed -i "s/REPLICA_NAME/replica$NODE_ID/" /etc/clickhouse-server/config.d/macros.xml

gosu clickhouse:clickhouse /usr/bin/clickhouse-server --config=${CLICKHOUSE_CONFIG}

创建configmap

配置文件configd.yaml:

apiVersion: v1
kind: ConfigMap
metadata:
  name: tt-test
  namespace: te-sp-dev
  labels:
    app: tt-test
data:
  remote_servers.xml: |-
    <yandex>
      <remote_servers incl="clickhouse_remote_servers">
        <clicks_cluster>
            <shard>
              <internal_replication>true</internal_replication>
              <replica>
                  <default_database>default</default_database>
                  <host>clickhouse-0.clickhouse</host>
                  <user>argus</user>
                  <password>root</password>
                  <port>9000</port>
              </replica>
              <replica>
                  <default_database>default</default_database>
                  <host>clickhouse-1.clickhouse</host>
                  <user>argus</user>
                  <password>root</password>
                  <port>9000</port>
              </replica>
              <replica>
                  <default_database>default</default_database>
                  <host>clickhouse-2.clickhouse</host>
                  <user>argus</user>
                  <password>root</password>
                  <port>9000</port>
              </replica>
            </shard>
        </clicks_cluster>
      </remote_servers>
      <listen_host>0.0.0.0</listen_host>
      <logger>
          <level>error</level>
          <log></log>
          <errorlog></errorlog>
          <console>1</console>
      </logger>
      <compression incl="clickhouse_compression">
          <case>
              <method>lz4</method>
          </case>
      </compression>
      <distributed_ddl>
          <path>/clickhouse/task_queue/ddl</path>
      </distributed_ddl>
      <macros replace="replace">
          <shard>shard0</shard>
          <replica>REPLICA_NAME</replica>
      </macros>
    </yandex>
  zookeeper.xml: |-
    <yandex>
      <zookeeper incl="zookeeper-servers">
        <node index="1">
            <host>kafka-zk-zk-0.kafka-zk-hs.te-retail-senselink</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>kafka-zk-zk-1.kafka-zk-hs.te-retail-senselink</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>kafka-zk-zk-2.kafka-zk-hs.te-retail-senselink</host>
            <port>2181</port>
        </node>
      </zookeeper>
    </yandex>
  users.xml: |-
    <yandex>
      <profiles>
        <writer>
          <max_memory_usage>1000000000</max_memory_usage>
          <use_uncompressed_cache>0</use_uncompressed_cache>
          <load_balancing>random</load_balancing>
        </writer>
        <reader>
          <max_memory_usage
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值