clickhouse 集群安装部署,以及简单操作

最新推荐文章于 2024-01-02 15:29:25 发布
置顶 最新推荐文章于 2024-01-02 15:29:25 发布
阅读量2.9k 收藏 9
点赞数 2
分类专栏： ClickHouse 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42779476/article/details/103616338
版权

ClickHouse简单介绍

ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS，简称CK, 与Hadoop, Spark相比，ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月发布, 开发语言为C++;

ClickHouse优点

1，为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理；
2，数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行；
3，索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表扫描的速度也很快；
4，写入速度非常快，50-200M/s，对于大量的数据更新非常适用；
5，压缩性好：相对mysql压缩10倍

ClickHouse缺点

1，不支持事务，不支持真正的删除/更新；
2，不支持高并发，官方建议qps为100，可以通过修改配置文件增加连接数，但是在服务器足够好的情况下；
3，SQL满足日常使用80%以上的语法，join写法比较特殊；最新版已支持类似SQL的join，但性能不好,不建议使用；
4，尽量做1000条以上批量的写入，避免逐行insert或小批量的insert操作，因为ClickHouse底层会不断的做异步的数据合并，会影响查询性能，这个在做实时数据写入的时候要尽量避开；
5，Clickhouse快是因为采用了并行处理机制，即使一个查询，也会用服务器一半的CPU去执行，所以ClickHouse不能支持高并发的使用场景，默认单查询使用CPU核数为服务器核数的一半，安装时会自动识别服务器核数，可以通过配置文件修改该参数。
全量数据导入：数据导入临时表 -> 导入完成后，将原表改名为tmp1 -> 将临时表改名为正式表 -> 删除原表
增量数据导入： 增量数据导入临时表 -> 将原数据除增量外的也导入临时表 -> 导入完成后，将原表改名为tmp1-> 将临时表改成正式表-> 删除原数据表
6，只支持自己的协议（没有MySQL协议支持）

安装ClickHouse前操作

集群内每个物理节点使用的操作系统为Centos，在最小部署下，同时需要在一个物理节点上部署Zookeeper、Kafka、ClickHouse三个软件。

  1. Centos_6.7_x86_64_minimao.iso 6.7 minimal 操作系统
  2. Clickhouse.tgz 1.0.0 数据库安装包
  3. Kafka_2.1.12-2.0.0.tgz 2.0.0 Kafuka安装包
  4. Zookeeper-3.4.13.tar.gz 3.4.13 Zookeeper安装包

编辑hosts文件

#vi /etc/hosts
增加hosts记录
192.168.0.99 cluster01-02-1
192.168.0.99 cluster01-01-2
192.168.0.98 cluster01-01-1
192.168.0.98 cluster01-02-2

设置IPtables

1、查询防火墙状态:
service iptables status
2、停止防火墙:
 service iptables stop
3、启动防火墙:
service iptables start
4、重启防火墙:
service iptables restart
5、永久关闭防火墙:
chkconfig iptables off
6、永久关闭后启用:
chkconfig iptables on

目前为进行防火墙的端口开关设置，测试环境上关闭iptables。后续会根据需求增加打开iptables状态下的端口设置。

ClickHouse:

2.1集群配置概况
    1. 高可用原理：zookeeper + ReplicatedMergeTree(复制表) + Distributed(分布式表)
    2. 前提准备：所有节点防火墙关闭或者开放端口；hosts表和主机名一定要集群保持一致正确配置，因为zookeeper返回的是主机名，配置错误或不配置复制表时会失败.
     clickhouse测试节点2个：192.168.0.98  clickhouse1, 192.168.0.99  clickhouse2
     zookeeper测试节点2个：server.1: 192.168.0.98   server.2 : 192.168.0.99
     配置方案：两个节点各配置两个clickhouse实例，相互备份.
     clickhouse1: 实例1, 端口: tcp 9000, http 8123, 同步端口9009, 类型: 分片1, 副本1
     clickhouse1: 实例2, 端口: tcp 9001, http 8124, 同步端口9010, 类型: 分片2, 副本2 (clickhouse2的副本)
     clickhouse2: 实例1, 端口: tcp 9000, http 8123, 同步端口9009, 类型: 分片2, 副本1
     clickhouse2: 实例2, 端口: tcp 9001, http 8124, 同步端口9010, 类型: 分片1, 副本2 (clickhouse1的副本)

2.2ClickHouse集群关系图

在这里插入图片描述

ClickHouse安装配置

<?xml version="1.0"?>
<yandex>
	<!-- 日志 -->
    <logger>
        <level>notice</level>
        <log>/var/log/ClickHouse-server/ClickHouse-server.log</log>
        <errorlog>/var/log/ClickHouse-server/ClickHouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>10</count>
    </logger>
	 <!-- 每个数据库实例的端口 -->
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
    <openSSL>
        <server> 
            <certificateFile>/etc/ClickHouse-server/server.crt</certificateFile>
            <privateKeyFile>/etc/ClickHouse-server/server.key</privateKeyFile>
            <dhParamsFile>/etc/ClickHouse-server/dhparam.pem</dhParamsFile>
            <verificationMode>none</verificationMode>
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
        </server>
        <client> 
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
            <invalidCertificateHandler>
                <name>RejectCertificateHandler</name>
            </invalidCertificateHandler>
        </client>
</openSSL>
<!-- 集群数据同步端口, 各个实例端口号不能相同  -->
    <interserver_http_port>9009</interserver_http_port>
	  <!-- 本机域名 -->
    <interserver_http_host>cluster01-02-1</interserver_http_host>
	<!-- 监听IP -->
    <listen_host>::</listen_host>
	<!-- 最大连接数 -->
    <max_connections>4096</max_connections>
    <keep_alive_timeout>3</keep_alive_timeout>
	<!-- 最大并发查询数 -->
    <max_concurrent_queries>100</max_concurrent_queries>
    <!-- 单位是B -->
    <uncompressed_cache_size>8589934592</uncompressed_cache_size>
    <mark_cache_size>5368709120</mark_cache_size>
	<!-- 存储路径 -->
    <path>/var/lib/ClickHouse/</path>
    <tmp_path>/var/lib/ClickHouse/tmp/</tmp_path>
	<!-- user配置 -->
    <user_files_path>/var/lib/ClickHouse/user_files/</user_files_path>
    <users_config>users.xml</users_config>
    <default_profile>default</default_profile>
    <default_database>default</default_database>
	<!-- 集群分片配置 -->
    <remote_servers>
        <distable>
            <shard>
                <weight>1</weight>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>cluster01-01-1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>cluster01-01-2</host>
                    <port>9001</port>
                </replica>
            </shard>
            <shard>
                <weight>2</weight>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>cluster01-02-1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>cluster01-02-2</host>
                    <port>9001</port>
                </replica>
            </shard>
        </distable>
    </remote_servers>
	<!-- 配置zookeeper -->
    <zookeeper>
        <node index="1">
            <host>192.168.0.98</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>192.168.0.99</host>
            <port>2181</port>
        </node>
    </zookeeper>
	<!-- 复制标识的配置，也称为宏配置，这里唯一标识一个副本名称，每个实例都要配置并且都是唯一的 -->
    <macros>
    	<layer>01</layer>
    	<shard>02</shard>
    	<replica>cluster01-02-1</replica>
    </macros>

	<!-- 重新加载内置词典之前的时间间隔（以秒为单位） -->
    <builtin_dictionaries_reload_interval>3600</builtin_dictionaries_reload_interval>
	<!-- 最大会话超时配置 -->
    <max_session_timeout>3600</max_session_timeout>
    <default_session_timeout>60</default_session_timeout>
    <query_log>
        <database>system</database>
        <table>query_log</table>
        <partition_by>toYYYYMM(event_date)</partition_by>
        <!-- Interval of flushing data. -->
        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    </query_log>
	<!-- 外部词典配置路径 -->
    <dictionaries_config>*_dictionary.xml</dictionaries_config>
    <compression incl="ClickHouse_compression">
    </compression>

    <distributed_ddl>
        <path>/ClickHouse/task_queue/ddl</path>
    </distributed_ddl>
	
	<!-- 讲解路径:  https://clickhouse.yandex/docs/zh/operations/table_engines/graphitemergetree/ -->
    <graphite_rollup_example>
        <pattern>
            <regexp>click_cost</regexp>
            <function>any</function>
            <retention>
                <age>0</age>
                <precision>3600</precision>
            </retention>
            <retention>
                <age>86400</age>
                <precision>60</precision>
            </retention>
        </pattern>
        <default>
            <function>max</function>
            <retention>
                <age>0</age>
                <precision>60</precision>
            </retention>
            <retention>
                <age>3600</age>
                <precision>300</precision>
            </retention>
            <retention>
                <age>86400</age>
                <precision>3600</precision>
            </retention>
        </default>
    </graphite_rollup_example>
    <format_schema_path>/var/lib/ClickHouse/format_schemas/</format_schema_path>
</yandex>

集群配置文件介绍:

集群配置默认为    ：<remote_servers incl="clickhouse_remote_servers" />
zookeeper默认为  ：<zookeeper incl="zookeeper-servers" optional="true" />
macros默认为     ：<macros incl="macros" optional="true" />
首先是集群分片的配置，这个配置所有节点的所有实例完全保持一致：

<remote_servers>
        <distable>
            <shard>
                <!-- Optional. Shard weight when writing data. Default: 1. -->
                <weight>1</weight>
                <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
                <internal_replication>false</internal_replication>
                <replica>
                    <host>cluster01-01-1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>cluster01-01-2</host>
                    <port>9001</port>
                </replica>
            </shard>
            <shard>
                <weight>1</weight>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>cluster01-02-1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>cluster01-02-2</host>
                    <port>9001</port>
                </replica>
            </shard>
        </distable>
    </remote_servers>

配置里面的<distable>是分布式标识标签，可以自定义，到最后创建分布式表的时候会用到；然后weight是分片权重，即写数据时有多大的概率落到此分片，因为这里所有分片权重相同所有都设置为1，然后是internal_replication，表示是否只将数据写入其中一个副本，默认为false，表示写入所有副本，在复制表的情况下可能会导致重复和不一致，所以这里一定要改为true，clickhouse分布式表只管写入一个副本，其余同步表的事情交给复制表和zookeeper来进行，然后是replica配置这个好理解，就是一个分片下的所有副本，这里副本的分布一定要手动设计好，保证相互备份，然后再次说明是所有的节点配置一致. 此部分配置严格按照官网配置，参考链接：https://clickhouse.yandex/docs/en/operations/table_engines/distributed/

Zookeeper 配置介绍

然后是zookeeper配置，这个也是所有示例配置都一样：

 <zookeeper>
        <node index="1">
            <host>192.168.0.98</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>192.168.0.99</host>
            <port>2181</port>
        </node>
    </zookeeper>

复制标识的配置

然后是复制标识的配置，也称为宏配置，这里唯一标识一个副本名称，每个实例都要配置并且都是唯一的，这里配置如下：

clickhouse1 9000 分片1, 副本1:
<macros>
    <layer>01</layer>
    <shard>01</shard>
    <replica>cluster01-01-1</replica>
</macros>
    clickhouse1 9001 分片2, 副本2:
<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-2</replica>
</macros>
    clickhouse2 9000 分片2, 副本1:
<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-1</replica>
</macros>
    clickhouse2 9001 分片1, 副本2:
<macros>
    <layer>01</layer>
    <shard>01</shard>
    <replica>cluster01-01-2</replica>
</macros>

ClickHouse简单使用

ClickHouse启动
cd /home/ClickHouse/bin
./ClickHouse-server --daemon --pid-file=/var/run/ClickHouse-server/ClickHouse-server.pid --config-file=//home/ClickHouse/etc/ClickHouse-server/config.xml
副本集启动
./ClickHouse-server --daemon --pid-file=/var/run/ClickHouse-server/ClickHouse-server1.pid --config-file=//home/ClickHouse/etc/ClickHouse-server/config.xml
进入ClickHouse客户端
cd /home/OptimnalDB/bin
./ClickHouse-client
进入副本集
./ClickHouse-client --port 9001
ClickHouse查看表
查看全部数据库: show databases;
进入指定数据库: use mxs;
查看表       : show tables;
删除表
drop table flow;
ClickHouse函数, 请看有道云笔记文档, 函数太多就不贴出来了,连接如下:
http://note.youdao.com/noteshare?id=f36dfc357f2c80dc276e3f06ebe534ff&sub=E5475E5FE3A041AC95298CBB12F3F45F

详情参考clickhouse官网 : https://clickhouse.yandex/docs/en/interfaces/cli/

MaHao_Mxs
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ClickHouse使用介绍和部署指南
m0_58000616的博客
05-20 1744
ClickHouse 是一种用于在线分析处理 (OLAP) 的高性能、面向列的 SQL 数据库管理系统 (DBMS)。它以其快速的查询性能和高效的数据压缩而闻名，并且能够处理 PB 级别的数据。1.
clickhouse集群部署说明-ck集群
04-17
clickhouse集群部署说明-ck集群，clickhouse 集群部署以及建表语句，分布式
ClickHouse使用（十三）
dabai521的博客
07-03 744
ClickHouse使用（十三）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如
ClickHouse连接SASL_SSL认证的Kafka
weixin_44830864的博客
09-10 452
在config目录下创建sasl_ssl目录复制 server.properties一份到sasl_ssl下命名为server_sasl_ssl.properties修改文件。同样修改/etc/clickhouse-server/config.d下的metrika.xml。添加密码验证文件kafka_server_jaas.conf。之前配置过ssl在这个基础上配置sasl_ssl。二.clickchouse配置连接kafka。一.kafka配置sasl_ssl认证。#创建kafka引擎表。
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
shuyv的博客
01-04 1773
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
clickhouse（一）两分片两副本集群搭建
Interest1_wyt的博客
08-08 3357
最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。 1、准备三台虚拟机，分别安装clickhouse的服务端和客户端 这里的安装过程是纯粹拷贝的官网命令，首先验证虚拟机是否支持clickhouse的安装： grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supporte...
【大数据实战】聊聊clickhouse的性能问题-高性能分析
最新发布
小吴同学的博客
01-02 2137
在OLAP的查询场景中，同样的数据量，ClickHouse表现出了比同类可比较产品更优的性能。可以看到CK在OLAP场景下的性能还是非常强的，那么是不是它在每个指标上表现都很好呢？事实上，并不是这样的，它也有自己的缺点，接下来我们可以大致来看看ClickHouse的性能指标。
clickhouse集群部署
07-17
clickhouse集群安装脚本——贵宾版。 可以自行修改，简洁易用。 实验证明，所部署的clickhouse集群具备高可用和稳定性。 注意！！！下载后3个月内提供免费维护！！！
clickhouse-operator：ClickHouse Operator创建，配置和管理在Kubernetes上运行的ClickHouse集群
02-03
ClickHouse操作员ClickHouse Operator创建，配置和管理在Kubernetes上运行的ClickHouse集群。产品特点Kubernetes的ClickHouse运营商目前提供以下内容： 根据提供的“自定义资源” 创建ClickHouse集群定制的存储配置...
ClickHouse集群搭建从0到1.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会...
ClickHouse 集群配置文件.rar
05-25
在部署 ClickHouse 集群时，正确配置这些文件是至关重要的。理解每个文件的用途和各个配置项的作用，有助于优化集群的性能、可用性和安全性。同时，还需要根据实际业务需求进行调整，例如，调整并发查询数量、优化...
【ClickHouse】副本
qq_41466440的博客
12-10 209
ClickHouse 副本
ClickHouse集群多实例部署
FaN()
05-03 9798
ClickHouse多实例部署 本人刚接触ClickHouse两周, 难免有错误之处, 感谢指正. 另外一些参数我也不甚理解, 大家也可以先不必纠结参数, 先部署起来再说, 我的感触是部署后就会对整体结构有了一遍认识. 如果多实例都可以部署完毕, 那么生产单实例部署当然就不成问题了. 生产环境并不建议多实例部署, ClickHouse一个查询可以用到多个CPU, 本例只适用于测试环境 部署规划 ...
ClickHouse安装以及使用
b379685397的博客
11-07 1258
一、下载安装包 # wget -P # 下载到指定目录 $ wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-21.8.4.51-2.noarch.rpm $ wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-21.8.4.51-2.x86_64.rpm $ wget https://r
Clickhouse常用系统表概览
三思的博客
03-02 2426
文章目录一、常用系统表1.1 集群配置相关1、clusters2、macros3、disk4、storage_policies1.2 数据库运行情况概要信息1、metrics、events2、asynchronous_metrics3、metric_log1.3 库表统计信息1、databases2、tables3、columns4、parts5、parts_columns1.4 日志相关1、query_log2、query_thread_log3、trace_log 一、常用系统表 1.1 集群配置相关
ClickHouse部署文档
Mirror_w的博客
09-16 870
ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。1.启动每个安装包install/doinst.sh 下的启动脚本。官方预构建的二进制文件通常针对x86_64进行编译，并利用。机器：node01,node02,node03 共三台。浏览器访问:8123端口 ，返回ok则搭建成功。Clickhouse安装包。如图所示：此系统支持。
clickhouse 生产集群部署之坑坑洼洼
Yuhang.Pei 's blog
12-03 7538
之前看过ck中文社区，看到了很多莫名其妙的Exception 但并没有解答。自己测试集群小量数据抽取也没有遇到这些问题。 果不其然，生产集群部署都跳了一遍 新增相关配置：网上找的，与我原本的配置的一些不同点 <receive_timeout>800</receive_timeout> <send_timeout>800</send_time...
ClickHouse安装及数据结构
MYSQL轻松学的专栏
01-30 5452
ClickHouse安装及结构说明 一、ClickHouse安装方式 源码编译安装 Docker安装 RPM包安装 为了方便使用，一般采用RPM包方式安装，其他两种方式这里不做说明。 二、下载安装包 官方没有提供rpm包，但是Altinity第三方公司提供了。 地址：https://packagecloud.io/altinity/clickhouse 三、配置文件 安装好r...
京东 ClickHouse 高可用实践
qq_41466440的博客
09-23 1716
导读：京东OLAP采取ClickHouse为主Doris为辅的策略，有3000台服务器，每天亿次查询万亿条数据写入，广泛服务于各个应用场景，经过历次大促考验，提供了稳定的服务。本文介绍了ClickHouse在京东的高可用实践，包括选型过程、集群部署、高可用架构、问题和规划。 01 应用场景和选型 京东数据分析的场景非常多，在交易、流量、大屏、用户分析和算法等多场景中采用到了OLAP技术。那么在应用中有遇到什么样的难点，应对这些问题如何做的技术选型和最终方案呢？ 1.京东OLAP的场景的难..

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值