使用docker搭建clickhouse

最新推荐文章于 2024-08-26 17:43:54 发布
最新推荐文章于 2024-08-26 17:43:54 发布
阅读量2.4k 收藏 3
点赞数 1
分类专栏： Tech Docker Database 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46918845/article/details/115133887
版权
Tech 同时被 3 个专栏收录
5 篇文章 0 订阅
订阅专栏
Database
2 篇文章 0 订阅
订阅专栏
Docker
1 篇文章 0 订阅
订阅专栏

使用docker搭建clickhouse

前言

本文使用 docker 快捷搭建 clickhouse ，参考资料来自于 dockerhub clickhouse-server，关于 clickhouse 配置文件的说明见官方文档。

集群

搭建 clickhouse 集群会用到 zookeeper，关于搭建 zookeeper 可移步 使用docker搭建zookeeper集群

虚拟机

准备 4 台虚拟机，操作系统为 Ubuntu 18.04，其中前三台已经安装 zookeeper。

192.168.0.10

192.168.0.11

192.168.0.12

192.168.0.13

搭建

在三台服务器上分别拉取镜像

docker pull yandex/clickhouse-server

在三台服务器上分别创建挂载目录

mkdir -p /home/`whoami`/data/clickhouse

在 192.168.0.10 上执行，此步用于初次获取对应 clickhouse-server 的配置

mkdir /tmp/clickhouse
docker run -d --name clickhouse-test --ulimit nofile=262144:262144 --volume=/tmp/clickhouse:/var/lib/clickhouse yandex/clickhouse-server
# 将配置拷贝出来
sudo docker cp clickhouse-test:/etc/clickhouse-server/ /etc/clickhouse-server/
docker stop clickhouse-test
docker rm clickhouse-test
rm -rf /tmp/clickhouse
用户配置

延续上一步，修改 /etc/clickhouse-server/users.xml 文件，在 </default> 后添加如下内容，更多配置请参考 官方文档

<users>
    <!-- 省略 -->
    ...
    </default>
    <!-- clickhouse自带default用户，但是该用户拥有所有权限且没有设置登陆密码和开启RBAC -->
    <!-- 下方是要添加的内容 -->
    <root>  
        <password>123456</password>
        <access_management>1</access_management>
        <networks incl="networks" replace="replace">
           <ip>::/0</ip>
        </networks>
        <profile>default</profile>
        <quota>default</quota>
    </root>
    <!-- 上方是要添加的内容 -->
</users>

如您不需要搭建集群，请直接跳转至 启动容器

集群模式配置

延续上一步，修改 /etc/clickhouse-server/config.xml 文件，搜索remote_servers，此节点添加 incl="clickhouse_remote_servers" 属性，并在 <remote_servers> 前添加 <include_from>/etc/clickhouse-server/metrika.xml</include_from>

<!-- 新增一行 -->
<include_from>/etc/clickhouse-server/metrika.xml</include_from>
<!-- 新增 incl="clickhouse_remote_servers" 属性 -->
<remote_servers incl="clickhouse_remote_servers" >
    ...
</remote_servers>
<!-- 新增两行 -->
<zookeeper incl="zookeeper-servers" optional="true" />
<macros incl="macros" />

延续上一步，新建 /etc/clickhouse-server/metrika.xml 文件，添加如下内容

<yandex>
    <!-- 集群配置 -->
    <clickhouse_remote_servers>
        <!-- 集群名称，自定义  -->
        <cluster_2shards_2replicas>
            <!-- 数据分片1  -->
            <shard>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>ch-server1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>ch-server2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <!-- 数据分片2  -->
            <shard>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>ch-server3</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>ch-server4</host>
                    <port>9000</port>
                </replica>
            </shard>
        <!-- 集群名称，自定义  -->
        </cluster_2shards_2replicas>
    </clickhouse_remote_servers>

    <!-- zookeeper servers 配置 -->
    <zookeeper-servers>
        <node index="1">
            <host>zoo-server1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>zoo-server2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>zoo-server3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
    
    <!-- 每个实例此处不一致
     官方： https://clickhouse.tech/docs/zh/engines/table-engines/mergetree-family/replication/ 
     推荐： https://www.cnblogs.com/freeweb/p/9352947.html 
    -->
    <macros>
        <layer>01</layer>
        <!-- partition of ClickHouse -->
        <!-- 相同的 shard 配置相同的值 -->
        <!-- 即 ch-server1 和 ch-server2 配置相同的值 -->
        <!-- 即 ch-server3 和 ch-server4 配置相同的值 -->
        <shard>01</shard>
        <!-- 每个 server 都需要是唯一的值，规则可自行修改 -->
        <replica>cluster01-01-1</replica>
        <!-- 另外三个 server 值的示例
        <replica>cluster01-01-2</replica>
        <replica>cluster01-02-3</replica>
        <replica>cluster01-02-4</replica>
        -->
    </macros>

    <networks>
        <ip>::/0</ip>
    </networks>

    <!-- 数据压缩算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

延续上一步，分发修改完成的配置

scp -r /etc/clickhouse-server root@192.168.0.11:/etc/clickhouse-server
scp -r /etc/clickhouse-server root@192.168.0.12:/etc/clickhouse-server
scp -r /etc/clickhouse-server root@192.168.0.13:/etc/clickhouse-server
启动容器

分别在三台服务器，执行脚本

其中 hostname 的值需要根据实际情况修改

# ch-server1
docker run -d \
  --name clickhouse-server \
  --ulimit nofile=262144:262144 \
  --volume=/home/`whoami`/data/clickhouse:/var/lib/clickhouse  \
  --volume=/etc/clickhouse-server/:/etc/clickhouse-server/ \
  --add-host ch-server1:192.168.0.10 \
  --add-host ch-server2:192.168.0.11 \
  --add-host ch-server3:192.168.0.12 \
  --add-host ch-server4:192.168.0.13 \
  --add-host zoo-server1:192.168.0.10 \
  --add-host zoo-server2:192.168.0.11 \
  --add-host zoo-server3:192.168.0.12 \
  --hostname ch-server1 \
  -p 9000:9000 \
  -p 8123:8123 \
  -p 9009:9009 \
  yandex/clickhouse-server
  
# ch-server2
docker run -d \
  --name clickhouse-server \
  --ulimit nofile=262144:262144 \
  --volume=/home/`whoami`/data/clickhouse:/var/lib/clickhouse  \
  --volume=/etc/clickhouse-server/:/etc/clickhouse-server/ \
  --add-host ch-server1:192.168.0.10 \
  --add-host ch-server2:192.168.0.11 \
  --add-host ch-server3:192.168.0.12 \
  --add-host ch-server4:192.168.0.13 \
  --add-host zoo-server1:192.168.0.10 \
  --add-host zoo-server2:192.168.0.11 \
  --add-host zoo-server3:192.168.0.12 \
  --hostname ch-server2 \
  -p 9000:9000 \
  -p 8123:8123 \
  -p 9009:9009 \
  yandex/clickhouse-server

# ch-server3
docker run -d \
  --name clickhouse-server \
  --ulimit nofile=262144:262144 \
  --volume=/home/`whoami`/data/clickhouse:/var/lib/clickhouse  \
  --volume=/etc/clickhouse-server/:/etc/clickhouse-server/ \
  --add-host ch-server1:192.168.0.10 \
  --add-host ch-server2:192.168.0.11 \
  --add-host ch-server3:192.168.0.12 \
  --add-host ch-server4:192.168.0.13 \
  --add-host zoo-server1:192.168.0.10 \
  --add-host zoo-server2:192.168.0.11 \
  --add-host zoo-server3:192.168.0.12 \
  --hostname ch-server3 \
  -p 9000:9000 \
  -p 8123:8123 \
  -p 9009:9009 \
  yandex/clickhouse-server
  
# ch-server4
docker run -d \
  --name clickhouse-server \
  --ulimit nofile=262144:262144 \
  --volume=/home/`whoami`/data/clickhouse:/var/lib/clickhouse  \
  --volume=/etc/clickhouse-server/:/etc/clickhouse-server/ \
  --add-host ch-server1:192.168.0.10 \
  --add-host ch-server2:192.168.0.11 \
  --add-host ch-server3:192.168.0.12 \
  --add-host ch-server4:192.168.0.13 \
  --add-host zoo-server1:192.168.0.10 \
  --add-host zoo-server2:192.168.0.11 \
  --add-host zoo-server3:192.168.0.12 \
  --hostname ch-server4 \
  -p 9000:9000 \
  -p 8123:8123 \
  -p 9009:9009 \
  yandex/clickhouse-server

使用 docker logs -f clickhouse-server 查看容器日志，发现报错，详情如下，此错误由容器内 /etc/clickhouse-server 目录下文件权限问题引起

Processing configuration file '/etc/clickhouse-server/config.xml'.
std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in posix_stat: failed to determine attributes for the specified path: Permission denied [/etc/clickhouse-server/config.xml], Stack trace (when copying this message, always include the lines below):

0. std::__1::system_error::system_error(std::__1::error_code, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0x138e88e3 in ?
1. ? @ 0x13882f84 in ?
2. ? @ 0x13882c16 in ?
3. ? @ 0x1388da75 in ?
4. std::__1::__fs::filesystem::__status(std::__1::__fs::filesystem::path const&, std::__1::error_code*) @ 0x1388a45a in ?
5. DB::ConfigProcessor::processConfig(bool*, zkutil::ZooKeeperNodeCache*, std::__1::shared_ptr<Poco::Event> const&) @ 0xfb386f7 in /usr/bin/clickhouse
6. DB::ConfigProcessor::loadConfig(bool) @ 0xfb3ace4 in /usr/bin/clickhouse
7. BaseDaemon::reloadConfiguration() @ 0x87ae611 in /usr/bin/clickhouse
8. BaseDaemon::initialize(Poco::Util::Application&) @ 0x87b0212 in /usr/bin/clickhouse
9. DB::Server::initialize(Poco::Util::Application&) @ 0x86681d0 in /usr/bin/clickhouse
10. Poco::Util::Application::run() @ 0x11debb66 in /usr/bin/clickhouse
11. DB::Server::run() @ 0x866801d in /usr/bin/clickhouse
12. mainEntryClickHouseServer(int, char**) @ 0x8666e43 in /usr/bin/clickhouse
13. main @ 0x8603dcd in /usr/bin/clickhouse
14. __libc_start_main @ 0x270b3 in /usr/lib/x86_64-linux-gnu/libc-2.31.so
15. _start @ 0x85ce36e in /usr/bin/clickhouse
 (version 21.1.2.15 (official build))

解决报错，需要在每台 server 节点执行

docker run -it \
  --name clickhouse-test \
  --ulimit nofile=262144:262144 \
  --volume=/home/`whoami`/data/clickhouse:/var/lib/clickhouse  \
  --volume=/etc/clickhouse-server/:/etc/clickhouse-server/ \
  --add-host ch-server1:192.168.0.10 \
  --add-host ch-server2:192.168.0.11 \
  --add-host ch-server3:192.168.0.12 \
  --add-host ch-server4:192.168.0.13 \
  --add-host zoo-server1:192.168.0.10 \
  --add-host zoo-server2:192.168.0.11 \
  --add-host zoo-server3:192.168.0.12 \
  -p 9000:9000 \
  -p 8123:8123 \
  -p 9009:9009 \
  yandex/clickhouse-server /bin/bash
 
# 进入 bash 命令行后执行
chown -R clickhouse:clickhouse /etc/clickhouse-server/
# 退出后，删除临时容器
docker rm clickhouse-test

启动 clickhouse-server 容器

docker restart clickhouse-server

验证

docker exec -it clickhouse-server bash
clickhouse-client -u root --password 123456
select * from system.clusters;
# 可以看到输出的列表中有 cluster_2shards_2replicas
菲洛斯
关注
专栏目录
ClickHouse 实战：使用 Docker Compose 部署 ClickHouse 集群
SmartSi
05-16 880
在今天的这篇文章中，我们将详细介绍如何使用 Docker Compose 来部署 ClickHouse 数据库。ClickHouse 是一个用于在线分析处理（OLAP）的列式数据库管理系统（DBMS），以其高速查询性能而闻名。使用 Docker Compose，我们可以方便地定义和运行多容器 Docker 应用程序，使部署 ClickHouse 变得更为简单和高效。
docker 部署clickHouse
myThread的博客
07-07 842
萌新部署clickhouse数据库。后续追加 spring + clickhouse
docker安装clickhouse_使用Docker安装ClickHouse
weixin_33048721的博客
12-24 664
什么是ClickHouseClickHouse是一个由俄罗斯最大的搜索公司Yandex开源的列式数据库(DBMS)，主要用于在线分析处理查询(OLAP)，于2016年开源，采用C++开发。凭借优秀的性能，市场反应非常热烈。相对行式数据库，像Mysql、Oracle、SqlServer等都是行式存储，是把同一行的数据放到相邻同一数据块种，而列式存储是把同一列的数据放到相邻同一数据块种，这样在进行计算...
docker安装clickhouse
奋斗的小鸟专栏
05-12 2086
OLAP 场景需要对大型数据集进行实时响应，以进行复杂的分析查询，具有以下特征：数据集可能非常庞大 - 数十亿或数万亿行。数据组织在包含许多列的表中。只有少数列选择回答任何特定查询结果必须以毫秒或秒为单位返回。
docker部署clickhouse
最新发布
weixin_40663313的博客
08-26 1019
ClickHouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（MergeTree）中的其他引擎，支持索引和分区，地位可以相当于innodb之于Mysql。任何一个批次的数据写入都会产生一个临时分区，不会纳入任何一个已有的分区。写入后的某个时刻（大概10-15分钟后），ClickHouse会自动执行合并操作（等不及也可以手动通过optimize执行），把临时分区的数据，合并到已有分区中。ClickHouse中的主键，和其他数据库不太一样，它只提供了数据的一级索引，但是却不是唯一约束。
Docker安装ClickHouse
huas_xq的专栏
03-18 1425
Docker安装ClickHouse
docker搭建clickhouse
weixin_41463944的博客
08-29 190
docker搭建clickhouse
使用Docker安装ClickHouse
热门推荐
飘渺Jam的博客
04-10 1万+
使用Docker安装ClickHouse
Docker安装clickhouse
qq_25037929的博客
04-27 7066
docker快速部署clickhouse
【docker】安装clickhouse
qq_28392947的博客
08-04 2619
docker-compose 安装clickhouse
docker下安装clickhouse
阿甘兄
08-29 894
Docker下安装clickhouse
Docker 系列之 clickhouse server
蓝创精英团队
05-31 255
docker pull yandex/clickhouse-server
clickhouse docker安装
weixin_42357472的博客
10-22 710
参考 ：https://blog.csdn.net/qq_35349114/article/details/105771674 1、下载 docker pull yandex/clickhouse-server docker pull yandex/clickhouse-clinet 2、启动server 如果想指定目录启动，这里以clickhouse-test-server命令为例，可以随意写 mkdir clickhouse-test-db ## 创建数据文件目录 使用以下路径启动，在外
利用docker安装启动ClickHouse
web15085599741的博客
08-28 3140
ClickHouse是一个面向列存储的数据库管理系统，可以使用SQL查询实时生成分析数据报告，主要用于OLAP(在线分析处理查询)场景。关于clickhouse原理以及基础知识在以后学习中慢慢总结。(_)
一、Docker/安装包部署ClickHouse
青啊青斯博客
02-06 2259
其中18138372fad4b94533cd4881f03dc6c69296dd897234e0cee83f727e2e6b1f63生成方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值