clickhouse 搭建 单机 / 集群

已于 2022-02-16 15:11:36 修改
阅读量2.5k 收藏 4
点赞数
分类专栏： # ClickHouse 文章标签： clickhouse
于 2021-11-17 22:58:45 首次发布
转载请注明出处——https://blog.csdn.net/chy555chy
本文链接：https://blog.csdn.net/chy555chy/article/details/121295053
版权

安装 clickhouse

首先，访问官网 https://clickhouse.com/#quick-start 根据你主机的类型，下载clickhouse

我这里是centos8，因此采用如下方式
在这里插入图片描述

sudo yum install yum-utils -y 
sudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/clickhouse.repo
sudo yum install clickhouse-server clickhouse-client
sudo /etc/init.d/clickhouse-server start -y
clickhouse-client

修改数据存储目录

查看 clickhouse-server 的配置文件，默认的数据存储目录为 /var/lib/clickhouse 。可以修改为你自己的目录，但是必须保证目录的磁盘空间足够大
在这里插入图片描述

查看运行状态

有两种方式可以查看运行状态，一种是clickhouse自带的方法，还有一种是systemctl工具

  1. /etc/init.d/clickhouse-server status
    clickhouse 自带了查看启动状态的命令。对于其它命令，可以使用 help 参数进行查看。如果正在运行，会打印 running 和 pid
    在这里插入图片描述
  2. systemctl status clickhouse-server
    使用系统服务命令，可以查看 clickhouse-server 服务是否正在运行。正在运行的话，状态为 active(running)；如果处于停止状态，则是 inactive(dead)。此外还会打印主进程PID，占用内存，启动参数等信息
    在这里插入图片描述
    在这里插入图片描述

单机模式

  • 启动 /etc/init.d/clickhouse-server start
  • 停止 /etc/init.d/clickhouse-server stop
  • 重启 /etc/init.d/clickhouse-server restart
  • client 连接 server /usr/bin/clickhouse-client --host localhost --port 9000
    在这里插入图片描述

集群模式

搭建zookeeper

由于服务器资源有限，zookeeper只需要部署一台机即可，并不需要做集群

下载并解压 zookeeper（https://downloads.apache.org/zookeeper/current/），然后进入bin目录，执行如下命令

# 启动zookeeper
sh zkServer.sh start ../conf/zoo_sample.cfg
# 查看zookeeper的运行状态
./zkServer.sh status ../conf/zoo_sample.cfg
# 查看zookeeper线程
jps

可以看到，启动的模式为 standalone，即单例模式
在这里插入图片描述

搭建clickhouse

网上搜到常见的做法是新建/etc/metrika.xml 文件，添加如下内容（所有的IP改为你集群中的IP）。除了macros节点需要为每台主机分别进行配置外，其它都是一样的。Zookeeper 可以单独部署，也可以与 clickhouse 部在同一台服务器上

所需机器个数 shard * （replica + 1） 即 分片个数 * （副本个数 + 1）

  1. 1zookeeper-3shard-0replica（需要3台机）/etc/clickhouse-server/metrika/metrika_1z3s0r.xml
<yandex>
  <!-- 集群配置 -->
  <clickhouse_remote_servers>
    <!-- 集群名称 -->
    <ch_3s_0r>
      <!-- 数据分片1 -->
      <shard>
        <!-- 数据分片的数据权重 -->
        <weight>1</weight>
        <!-- 是否启用内部复制。true 代表写入数据时选择第一个健康的副本进行写入，其余副本以该表本身进行复制，保证复制表的一致性。false(默认) 代表将数据直接写入所有副本，因为没有检查复制表的一致性，随着时间的推移，它们将包含略微不同的数据。 -->
        <internal_replication>true</internal_replication>
        <replica>
          <!-- 数据分片远程服务地址（支持IPv6）或域名 -->
          <host>192.168.100.101</host>
          <port>9000</port>
          <user>default</user>
          <password></password>
        </replica>
      </shard>
      <!-- 数据分片2 -->
      <shard>
        <weight>1</weight>
        <internal_replication>true</internal_replication>
        <replica>
          <host>192.168.100.102</host>
          <port>9000</port>
          <user>default</user>
          <password></password>
        </replica>
      </shard>
      <!-- 数据分片3 -->
      <shard>
        <weight>1</weight>
        <internal_replication>true</internal_replication>
        <replica>
          <host>192.168.100.103</host>
          <port>9000</port>
          <user>default</user>
          <password></password>
        </replica>
      </shard>
    </ch_3s_0r>
  </clickhouse_remote_servers>
  
  <!-- 本节点副本名称 (这里只配置单副本)-->
  <macros>
    <!-- 集群名称 -->
    <layer>ch_layer</layer>
    <!-- 分片的编号 -->
    <shard>01</shard>
    <!-- 副本的名称，通常与主机名相同 -->
    <replica>192.168.100.101</replica>
  </macros>
  
  <!-- 监听网络 -->
  <networks>
    <!-- ::/0代表监听所有ip -->
    <ip>::/0</ip>
  </networks>
  
  <!-- zoookeeper的配置（单机或集群均可）-->
  <zookeeper-servers>
    <node index="1">
      <host>192.168.100.101</host>
      <port>2181</port>
    </node>
  </zookeeper-servers>
  
  <!-- 数据压缩算法 -->
  <clickhouse_compression>
    <case>
      <min_part_size>10000000000</min_part_size>
      <min_part_size_ratio>0.01</min_part_size_ratio>
      <method>lz4</method>
    </case>
  </clickhouse_compression>
</yandex>
  1. 1zookeepers-1shards-1replicas（需要2台机）/etc/clickhouse-server/metrika/metrika_1z1s1r.xml
<yandex>
  <!-- 集群配置 -->
  <clickhouse_remote_servers>
    <!-- 集群名称 -->
    <ch_1s_1r>
      <!-- 数据分片1 -->
      <shard>
        <!-- 数据分片的数据权重 -->
        <weight>1</weight>
        <!-- 是否启用内部复制。true 代表写入数据时选择第一个健康的副本进行写入，其余副本以该表本身进行复制，保证复制表的一致性。false(默认) 代表将数据直接写入所有副本，因为没有检查复制表的一致性，随着时间的推移，它们将包含略微不同的数据。 -->
        <internal_replication>true</internal_replication>
        <replica>
          <!-- 数据分片远程服务地址（支持IPv6）或域名 -->
          <host>192.168.100.101</host>
          <port>9000</port>
          <user>default</user>
          <password></password>
        </replica>
        <replica>
          <host>192.168.100.102</host>
          <port>9000</port>
          <user>default</user>
          <password></password>
        </replica>
      </shard>
    </ch_1s_1r>
  </clickhouse_remote_servers>
  
  <!-- 本节点副本名称 (这里只配置单副本)-->
  <macros>
    <!-- 集群名称 -->
    <layer>ch_layer</layer>
    <!-- 分片的编号 -->
    <shard>01</shard>
    <!-- 副本的名称，通常与主机名相同 -->
    <replica>192.168.100.101</replica>
  </macros>
  
  <!-- 监听网络 -->
  <networks>
    <!-- ::/0代表监听所有ip -->
    <ip>::/0</ip>
  </networks>
  
  <!-- zoookeeper的配置（单机或集群均可）-->
  <zookeeper-servers>
    <node index="1">
      <host>192.168.100.101</host>
      <port>2181</port>
    </node>
  </zookeeper-servers>
  
  <!-- 数据压缩算法 -->
  <clickhouse_compression>
    <case>
      <min_part_size>10000000000</min_part_size>
      <min_part_size_ratio>0.01</min_part_size_ratio>
      <method>lz4</method>
    </case>
  </clickhouse_compression>
</yandex>

如果zookeeper用的是集群，则需要将 zookeeper-servers节点改为

<zookeeper-servers>
    <node index="1">
      <host>192.168.100.101</host>
      <port>2181</port>
    </node>
    <node index="2">
      <host>192.168.100.101</host>
      <port>2181</port>
    </node>
    <node index="3">
      <host>192.168.100.101</host>
      <port>2181</port>
    </node>
  </zookeeper-servers>

然而，仅创建 /etc/metrika.xml 文件并不能使集群生效，我们查看 /etc/clickhouse-server/config.xml

  • include_from 配置文件的默认位置在 /etc/metrika.xml，可以设置此参数来改变它的位置
  • remote_servers 配置分片及副本
  • zookeeper 配置zookeeper的IP和端口
  • macros 指定当前主机
  • compression 配置压缩块的大小及压缩算法
    在这里插入图片描述

在如图（左上角）位置加上下面这段（另外，必须删除 /etc/clickhouse-server/config.xml 中的 remote_servers 节点，不然若是在前面配的，会被覆盖掉，导致集群无效）

<include_from>/etc/metrika_1z3s1r.xml</include_from>
<remote_servers incl="clickhouse_remote_servers"/>
<zookeeper incl="zookeeper-servers" optional="true" />
<macros incl="macros" optional="true" />
<compression incl="clickhouse_compression" optional="true" />

在这里插入图片描述
启动 clickhouse-server，然后用 clickhouse-clicent 连上去

#启动server
/etc/init.d/clickhouse-server start
#或者
systemctl start clickhouse-server.service

#查看server状态
/etc/init.d/clickhouse-server status
#使用client连接server
/usr/bin/clickhouse-client --host localhost --port 9000

查询集群信息 select * from system.clusters（若仅有 test 打头的字段，表示集群搭建失败）

  1. 1zookeepers-3shards-0replicas
    在这里插入图片描述
  2. 1zookeepers-1shards-1replicas
    在这里插入图片描述
福州司马懿
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建基于clickhouse集群的zookeeper+kafka的数据分析架构
m0_61626354的博客
02-16 1370
1 安装java环境 yum search java yum install java-1.8.0 2 安装zookeeper mkdir /app/ cd /app/ wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper
docker for windows--Windows 10 家庭中文版安装clickhouse 22.3版本及配置
penriver的博客
08-22 935
docker for windonws系列 本文讲解在Windows 10 家庭中文版安装clickhouse 22.3的单机版及集群版 并对遇到的问题给出解决方案
clickhouse 单机、集群安装
weixin_42489619的博客
03-22 1899
click house安装
ClickHouse生产运维系列[部署篇]-02_Zookeeper介绍及集群安装部署_zookeeper clickhouse
最新发布
04-17 1123
将下载的apache-zookeeper-3.8.3-bin.tar.gz安装包分别上传到三台服务器某个目录下，比如/home目录，保持目录统一。16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?7、Tomcat和Resin有什么区别，工作中你怎么选择?
ClickHouse安装（集群版）
Button的博客
02-06 1317
ClickHouse安装（集群版）
OLAP系列：二、clickhouse集群部署指南(3分片1副本模式)
幽幽之心的博客
05-09 1001
上篇文章介绍了clickhouse单机部署指南，本章重点介绍下集群部署指南，文章重在实战，相关知识请自行学习。
Docker 系列之 clickhouse server
蓝创精英团队
05-31 235
docker pull yandex/clickhouse-server
redis单机/集群搭建部署及应用
01-19
介绍了redis单机、集群的搭建，以及Spring项目中如何使用Jedis、JedisCluster进行redis操作
ClickHouse集群搭建从0到1.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会...
Zookeeper 单机环境和集群环境搭建
09-29
主要介绍了Zookeeper 单机环境和集群环境搭建过程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
搭建Zookeeper单机和集群
01-20
这里多说一句，附上两种导入文件的方法： 第一种（文件太大时最好别用）： ...单机搭建： 创建zookeeper文件夹： mkdir /usr/local/zookeeper 解压到zookeeper文件夹下： tar -zxvf /usr/local/apache-zookee
clickhouse集群部署
07-17
clickhouse集群安装脚本——贵宾版。 可以自行修改，简洁易用。 实验证明，所部署的clickhouse集群具备高可用和稳定性。 注意！！！下载后3个月内提供免费维护！！！
docker部署clickhouse-server
青春不流名
08-13 1264
docker部署clickhouse
最简单的ClickHouse集群搭建
whiteBearClimb的博客
12-11 945
用最少的废话，做最踏实的事，我自己搭建这个集群环境也踩了坑，也查了很多资料，网上很多资料，说实话都是复制粘贴的，或者有的根本没说全面的，更有甚者只说了个概念，具体怎么配置，文件怎么修改都没说。所以做这篇记录的同时，也希望帮助到更多人。 （1）第一步肯定是在你集群机器（三台或以上）安装和启动ClickHouse，在我另外一篇博客记录。 ClickHouse下载安装和启动 （2）第二步是你必须掌握并且基本会用ZooKeeper，并且已经在集群机器上配好了Zookeeper集群，最少一个leader两个follo
Clickhouse 启动和使用
潘广宇的博客
05-10 603
【代码】Clickhouse 启动和使用。
ClickHouse集群部署
长臂人猿的博客
05-31 914
目录 1. 环境数据 2. Tgz包准备 2.1. 查看系统版本信息 2.2. 下载相关安装包 2.3. 创建相关目录 2.4. 中转Jar包 2.5. 创建clickHouse目录 3. 解压安装 3.1. 解压 3.2. 安装 4. 配置文件修改 4.1. clickhouse-server 4.1.1. config.xml 5. 启动单节点 5.1. 启动clickhouse-server 5.1.1. 报错 5.1.2. 解决 5.2. 验证clickHouse是
ClickHouse服务端配置最佳实践
neweastsun的专栏
05-12 3390
Clickhouse 服务端配置包括两个部分：服务配置 (config.xml) 和用户配置 (users.xml)，它们缺省存储在目录下。建议不要改变默认配置文件，把我们的配置放在子目录下的独立文件中，这样更易于维护和升级。/etc/clickhouse-server/users.d – 存放用户配置的子目录./etc/clickhouse-server/config.d – 存放服务配置的子目录./etc/clickhouse-server/conf.d – 存放任何配置的子目录.
clickhouse集群搭建详细步骤
dnice的博客
04-29 9417
搭建说明 Clickhouse集群依赖Zookeeper集群。因此需要先搭建zk集群。 请先参考 【记录】zookeeper集群搭建详细步骤 完成zookeeper集群搭建。 如果zookeeper集群已成功搭建完成，下面开始搭建Clickhouse集群。 需要环境： 实例1 实例2 实例3 IP 192.168.11.11 192.168.11.12 192.168.11.13 OS centos7.9 centos7.9 centos7.9 zk zookeeper-3.8.0
普通用户启动Clickhouse
eyeofeagle的博客
03-23 2051
文章目录1，场景说明2，修改启动脚本：使用ck用户启动服务3，ck用户启动服务 1，场景说明 考虑安全和权限问题，安装完程序以后，银行等企业一般会收回root权限，此时有些服务可能启动失败，例如clickhouse服务 继上一篇Clickhouse集群安装以后 https://blog.csdn.net/eyeofeagle/article/details/122193719 2，修改启动脚本：使用ck用户启动服务 #1，ck 用户可登录 echo clickhouse |password clickhou
docker部署clickhouse集群单机版
10-12
要在单个服务器上部署 ClickHouse ...docker run -it --rm --network ch-network yandex/clickhouse-client --host ch-server-1,ch-server-2,ch-server-3 ``` 现在你已经可以连接到 ClickHouse 集群并开始使用它了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值