搭建一套大数据框架——clickhouse篇

已于 2024-09-29 15:51:21 修改
阅读量902 收藏 8
点赞数 22
文章标签： 大数据 clickhouse
于 2024-09-29 11:46:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18138507/article/details/142631711
版权

一、安装clickhouse-keeper

1、每台机器都下载clickhouse-keeper

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo
sudo yum install -y clickhouse-keeper

2、修改配置文件

vim /etc/etc/clickhouse-keeper/keeper_config.xml

1、192.168.1.41
<clickhouse>
    <logger>
        ###以下内容需要注意###
        <level>warning</level>
        <log>/data/logs/clickhouse-keeper/clickhouse-keeper.log</log>
        <errorlog>/data/logs/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>
        ####################
        <size>1000M</size>
        <count>10</count>
       
    </logger>
    <listen_host>0.0.0.0</listen_host>

    <max_connections>4096</max_connections>

    <keeper_server>
            <tcp_port>9181</tcp_port>
            ###以下内容需要注意###
            <server_id>1</server_id>
           
            <log_storage_path>/portal/clickhouse/coordination/logs</log_storage_path>
            <snapshot_storage_path>/portal/clickhouse/coordination/snapshots</snapshot_storage_path>
             ####################
            <coordination_settings>
                <operation_timeout_ms>10000</operation_timeout_ms>
                <min_session_timeout_ms>10000</min_session_timeout_ms>
                <session_timeout_ms>100000</session_timeout_ms>
                <raft_logs_level>information</raft_logs_level>
                <compress_logs>false</compress_logs>
               
            </coordination_settings>

            <hostname_checks_enabled>true</hostname_checks_enabled>
            ###以下内容需要注意###
            <raft_configuration>
                <server>
                    <id>1</id>
                    <hostname>192.168.1.41</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>2</id>
                    <hostname>192.168.1.42</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>3</id>
                    <hostname>192.168.1.43</hostname>
                    <port>9234</port>
                </server> 
                <server>
                    <id>4</id>
                    <hostname>192.168.1.44</hostname>
                    <port>9234</port>
                </server>                               
            </raft_configuration>
             ####################
    </keeper_server>


    <openSSL>
      <server>
            <verificationMode>none</verificationMode>
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
        </server>
    </openSSL>

</clickhouse>
2、192.168.1.42
<clickhouse>
    <logger>
        ###以下内容需要注意###
        <level>warning</level>
        <log>/data/logs/clickhouse-keeper/clickhouse-keeper.log</log>
        <errorlog>/data/logs/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>
        ####################
        <size>1000M</size>
        <count>10</count>
       
    </logger>
    <listen_host>0.0.0.0</listen_host>

    <max_connections>4096</max_connections>

    <keeper_server>
            <tcp_port>9181</tcp_port>
            ###以下内容需要注意###
            <server_id>2</server_id>

            <log_storage_path>/portal/clickhouse/coordination/logs</log_storage_path>
            <snapshot_storage_path>/portal/clickhouse/coordination/snapshots</snapshot_storage_path>
             ####################
            <coordination_settings>
                <operation_timeout_ms>10000</operation_timeout_ms>
                <min_session_timeout_ms>10000</min_session_timeout_ms>
                <session_timeout_ms>100000</session_timeout_ms>
                <raft_logs_level>information</raft_logs_level>
                <compress_logs>false</compress_logs>
               
            </coordination_settings>

            <hostname_checks_enabled>true</hostname_checks_enabled>
            ###以下内容需要注意###
            <raft_configuration>
                <server>
                    <id>1</id>
                    <hostname>192.168.1.41</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>2</id>
                    <hostname>192.168.1.42</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>3</id>
                    <hostname>192.168.1.43</hostname>
                    <port>9234</port>
                </server> 
                <server>
                    <id>4</id>
                    <hostname>192.168.1.44</hostname>
                    <port>9234</port>
                </server>                               
            </raft_configuration>
            ####################
    </keeper_server>


    <openSSL>
      <server>
            <verificationMode>none</verificationMode>
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
        </server>
    </openSSL>

</clickhouse>
3、192.168.1.43
<clickhouse>
    <logger>

        <level>warning</level>
        <log>/data/logs/clickhouse-keeper/clickhouse-keeper.log</log>
        <errorlog>/data/logs/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>

        <size>1000M</size>
        <count>10</count>
       
    </logger>
    <listen_host>0.0.0.0</listen_host>

    <max_connections>4096</max_connections>

    <keeper_server>
            <tcp_port>9181</tcp_port>

            <server_id>3</server_id>

            <log_storage_path>/portal/clickhouse/coordination/logs</log_storage_path>
            <snapshot_storage_path>/portal/clickhouse/coordination/snapshots</snapshot_storage_path>

            <coordination_settings>
                <operation_timeout_ms>10000</operation_timeout_ms>
                <min_session_timeout_ms>10000</min_session_timeout_ms>
                <session_timeout_ms>100000</session_timeout_ms>
                <raft_logs_level>information</raft_logs_level>
                <compress_logs>false</compress_logs>
               
            </coordination_settings>

            <hostname_checks_enabled>true</hostname_checks_enabled>
            <raft_configuration>
                <server>
                    <id>1</id>
                    <hostname>192.168.1.41</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>2</id>
                    <hostname>192.168.1.42</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>3</id>
                    <hostname>192.168.1.43</hostname>
                    <port>9234</port>
                </server> 
                <server>
                    <id>4</id>
                    <hostname>192.168.1.44</hostname>
                    <port>9234</port>
                </server>                               
            </raft_configuration>
    </keeper_server>


    <openSSL>
      <server>
            <verificationMode>none</verificationMode>
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
        </server>
    </openSSL>

</clickhouse>
4、192.168.1.44
<clickhouse>
    <logger>

        <level>warning</level>
        <log>/data/logs/clickhouse-keeper/clickhouse-keeper.log</log>
        <errorlog>/data/logs/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>

        <size>1000M</size>
        <count>10</count>
       
    </logger>
    <listen_host>0.0.0.0</listen_host>

    <max_connections>4096</max_connections>

    <keeper_server>
            <tcp_port>9181</tcp_port>

            <server_id>4</server_id>

            <log_storage_path>/portal/clickhouse/coordination/logs</log_storage_path>
            <snapshot_storage_path>/portal/clickhouse/coordination/snapshots</snapshot_storage_path>

            <coordination_settings>
                <operation_timeout_ms>10000</operation_timeout_ms>
                <min_session_timeout_ms>10000</min_session_timeout_ms>
                <session_timeout_ms>100000</session_timeout_ms>
                <raft_logs_level>information</raft_logs_level>
                <compress_logs>false</compress_logs>
               
            </coordination_settings>

            <hostname_checks_enabled>true</hostname_checks_enabled>
            <raft_configuration>
                <server>
                    <id>1</id>
                    <hostname>192.168.1.41</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>2</id>
                    <hostname>192.168.1.42</hostname>
                    <port>9234</port>
                </server>
                <server>
                    <id>3</id>
                    <hostname>192.168.1.43</hostname>
                    <port>9234</port>
                </server> 
                <server>
                    <id>4</id>
                    <hostname>192.168.1.44</hostname>
                    <port>9234</port>
                </server>                               
            </raft_configuration>
    </keeper_server>


    <openSSL>
      <server>
            <verificationMode>none</verificationMode>
            <loadDefaultCAFile>true</loadDefaultCAFile>
            <cacheSessions>true</cacheSessions>
            <disableProtocols>sslv2,sslv3</disableProtocols>
            <preferServerCiphers>true</preferServerCiphers>
        </server>
    </openSSL>

</clickhouse>

3、创建对应的目录并赋权限

sudo mkdir -p /var/lib/clickhouse-keeper
sudo chown -R clickhouse:clickhouse /var/lib/clickhouse-keeper
sudo chmod -R 700 /var/lib/clickhouse-keeper

4、启用并启动 ClickHouse Keeper

sudo systemctl enable clickhouse-keeper
sudo systemctl start clickhouse-keeper
sudo systemctl status clickhouse-keeper

二、安装clickhouse-server、clickhouse-client

1、每台机器下载clickhouse-client、clickhouse-server

sudo yum install -y clickhouse-client clickhouse-server

2、修改配置文件

1、192.168.1.41

vim /etc/clickhouse-server/config.d/remote-servers.xml

<clickhouse>
    <remote_servers replace="true">
        <prod4>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.41</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.42</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod4>
        <prod6>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.43</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.44</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod6>
    </remote_servers>
</clickhouse>

2、vim /etc/clickhouse-server/config.d/macros.xml

<clickhouse>
    <macros>
        <!-- 修改为节点特定的 shard 和 replica -->
        <shard>01</shard>
        <replica>01</replica>
        <cluster>cluster_1S_2R</cluster>
    </macros>
</clickhouse>

3、vim /etc/clickhouse-server/config.d/network-and-logging.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <display_name>cluster_1S_2R node 1</display_name>
    <listen_host>0.0.0.0</listen_host>
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
</clickhouse>

4、vim /etc/clickhouse-server/config.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
    </logger>
</clickhouse>

5、vim /etc/clickhouse-server/config.d/use-keeper.xml

<clickhouse>
    <keeper>
        <node>
            <host>192.168.1.41</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.42</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.43</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.44</host>
            <port>9181</port>
        </node>
    </keeper>
</clickhouse>
2、192.168.1.42

vim /etc/clickhouse-server/config.d/emote-servers.xml

<clickhouse>
    <remote_servers replace="true">
        <prod4>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.41</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.42</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod4>
        <prod6>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.43</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.44</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod6>
    </remote_servers>
</clickhouse>

2、vim /etc/clickhouse-server/config.d/macros.xml

<clickhouse>
    <macros>
        <shard>01</shard>
        <replica>02</replica>
        <cluster>cluster_1S_2R</cluster>
    </macros>
</clickhouse>

3、vim /etc/clickhouse-server/config.d/network-and-logging.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <display_name>cluster_1S_2R node 2</display_name>
    <listen_host>0.0.0.0</listen_host>
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
</clickhouse>

4、vim /etc/clickhouse-server/config.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
    </logger>
</clickhouse>

5、vim /etc/clickhouse-server/config.d/use-keeper.xml

<clickhouse>
    <keeper>
        <node>
            <host>192.168.1.41</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.42</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.43</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.44</host>
            <port>9181</port>
        </node>
    </keeper>
</clickhouse>
3、192.168.1.43

vim /etc/clickhouse-server/config.d/emote-servers.xml

<clickhouse>
    <remote_servers replace="true">
        <prod4>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.41</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.42</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod4>
        <prod6>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.43</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.44</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod6>
    </remote_servers>
</clickhouse>

2、vim /etc/clickhouse-server/config.d/macros.xml

<clickhouse>
    <macros>
        <shard>02</shard>
        <replica>01</replica>
        <cluster>cluster_1S_2R</cluster>
    </macros>
</clickhouse>

3、vim /etc/clickhouse-server/config.d/network-and-logging.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <display_name>cluster_1S_2R node 3</display_name>
    <listen_host>0.0.0.0</listen_host>
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
</clickhouse>

4、vim /etc/clickhouse-server/config.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
    </logger>
</clickhouse>

5、vim /etc/clickhouse-server/config.d/use-keeper.xml

<clickhouse>
    <keeper>
        <node>
            <host>192.168.1.41</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.42</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.43</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.44</host>
            <port>9181</port>
        </node>
    </keeper>
</clickhouse>
4、192.168.1.44

vim /etc/clickhouse-server/config.d/emote-servers.xml

<clickhouse>
    <remote_servers replace="true">
        <prod4>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.41</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.42</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod4>
        <prod6>
            <secret>mysecretphrase</secret>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.43</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.44</host>
                    <port>9000</port>
                </replica>
            </shard>
        </prod6>
    </remote_servers>
</clickhouse>

2、vim /etc/clickhouse-server/config.d/macros.xml

<clickhouse>
    <macros>
        <shard>02</shard>
        <replica>02</replica>
        <cluster>cluster_1S_2R</cluster>
    </macros>
</clickhouse>

3、vim /etc/clickhouse-server/config.d/network-and-logging.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <display_name>cluster_1S_2R node 4</display_name>
    <listen_host>0.0.0.0</listen_host>
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
</clickhouse>

4、vim /etc/clickhouse-server/config.xml

<clickhouse>
    <logger>
        <level>debug</level>
        <log>/data/logs/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/data/logs/clickhouse-server/clickhouse-server.err.log</errorlog>
    </logger>
</clickhouse>

5、vim /etc/clickhouse-server/config.d/use-keeper.xml

<clickhouse>
    <keeper>
        <node>
            <host>192.168.1.41</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.42</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.43</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.1.44</host>
            <port>9181</port>
        </node>
    </keeper>
</clickhouse>

三、clickhouse的一些命令

##启动
systemctl start clickhouse-server.service 
systemctl start clickhouse-keeper
##查看状态
systemctl status clickhouse-server.service 
systemctl status clickhouse-keeper
##停止
systemctl stop clickhouse-server.service 
systemctl stop clickhouse-keeper
谁能凭爱意将富士山私有丶
关注
《ClickHouse企业级应用：入门、进阶与实战》1 全面了解ClickHouse
AI天才研究院
01-31 1万+
近年来，ClickHouse发展势头迅猛，社区、大厂纷纷跟进使用。面对万亿级的数据查询分析也能做到亚秒级响应。那么，ClickHouse 到底是何方神圣？为什么如此受青睐？各位看官，欲知 ClickHouse 为何方神圣，且往下看。本章我们先来了解什么是ClickHouse，内容包括ClickHouse是什么，它具有哪些特性，适用哪些应用场景等。1.1 ClickHouse 概述本节介绍 ClickHouse 是什么、发展历程，以及ClickHouse在 OLAP 生态中的位置。同时，简单介绍了 OLAP
StarRocks实战——松果出行实时数仓实践
爱吃辣条的博客
03-03 1424
StarRocks实战——松果出行实时数仓实践
Clickhouse keeper方式搭建集群（不再依赖zookeeper）
wyl15982038375的专栏
06-26 1508
clickhouse不依赖zk部署集群
基于ClickHouse的用户行为大数据架构
小象数据
05-08 788
SDK埋点采集行为数据来源终端包括iOS、安卓、Web、H5、微信小程序等。不同终端SDK采用对应平台和主流语言的SDK，埋点采集到的数据通过JSON数据以HTTP POST方式提交到服务端API。 服务端API由数据接入系统组成，采用Nginx来接收通过 API 发送的数据，并且将之写到日志文件上。使用Nginx实现高可靠性与高可扩展性。 对于Nginx打印到文件的日志，会由Flume的 Source 模块来实时读取Nginx日志，并由Channel模块进行数据处理，最终通过Sink模块将处...
ClickHouse-Kafka Engine 正确的使用方式
最新发布
小王是个弟弟
09-18 1134
这篇文章介绍了ClickHouse-Kafka Engine的正确使用方法，包括基础使用和进阶使用。文中提到了如何优雅地处理解析错误数据和极限情况下的重复消费，同时对比了新的Kafka Engine和老引擎。文章指出，ClickHouse的Kafka表引擎能直接与Kafka系统对接，支持subscription of Kafka topic and real-time accepting message data。虽然ClickHouse在2024年9月3日之前不支持exactly once语义，但是在明确
ClickHouse的大数据处理架构
AI天才研究院
01-25 728
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库，主要用于实时数据处理和分析。它的核心特点是高速读写、低延迟、支持大规模并发访问。ClickHouse 的设计理念是为了解决大数据处理中的性能瓶颈，提供实时性能的数据库解决方案。 ClickHouse 的核心技术包括： 列式存储：将数据按列存储，减少磁盘I/O，提高读写性能。 压缩存储：使用各种压缩算法，减少存储...
ClickHouse环境搭建
赵广陆
04-19 2188
目录 1 ClickHouse 的安装 1.1 准备工作 1.1.1 确定防火墙处于关闭状态 1.1.2 CentOS 取消打开文件数限制 1.1.3 安装依赖 1.1.4 CentOS 取消 SELINUX 1.2 单机安装 1.2.1 在 hadoop102 的/opt/software 下创建 clickhouse 目录 1.2.2 将安装文件上传到 hadoop102 的software/clickhouse 目录下 1.2.3 将安装文件同步到 hadoop103、hadoop104
【clickhouse】clickhouse搭建教程
qwertyuiopasdfghjklzxcvbnm
03-11 856
部署教程 http://blog.cxiangnet.cn/2020/01/09/clickhouse%E6%90%AD%E5%BB%BA/ 日志路径 /var/log/clickhouse-server 配置文件路径 /etc/clickhouse-server 常用命令 重启服务 systemctl restart clickhouse-server.service 查看启动状态 systemctl status clickhouse-server.service 注意事项 1.运行客户端工具通过812
ClickHouse集群搭建教程
zcs2312852665的博客
04-02 3349
本文介绍了CKman的部署和ClickHouse集群的搭建过程，包括准备环境、安装依赖、配置集群免密登录、部署CKman和ClickHouse等步骤。还介绍了如何使用Prometheus、Node Exporter监控工具以及Zookeeper等组件，并提供了MySQL和JDK的安装方法。最后，详细说明了在CKman中创建集群并进行监控配置的操作步骤。端口描述8808ckman管理平台端口2181zookeeper 客户端连接端口，用于客户端与Zookeeper集群进行通信的TCP/IP连接。
大数据体系的4个热点，4个趋势和3个疑问
CrisAppleYan的博客
09-15 484
作者 | 阿里云计算平台事业部 如今，大数据技术已进入“后红海”时代，成了“水电煤”一样可以普惠人人的技术。同时，新领域仍在不断演进迭代。本文的上篇 “Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？”，阐述了后红海时代下大数据体系的演进热点是什么，以及大数据体系3个子领域的技术解读，包括多层智能化演进的分布式存储系统、统一框架和算法多...
Flink——芒果TV的实时数仓建设实践
爱吃辣条的博客
02-29 1608
Flink——芒果TV的实时数仓建设实践
5. ClickHouse大数据集群应用_腾讯网媒事业部.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题（纵向扩展），但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。
Doris实战——工商信息查询平台的湖仓一体建设
爱吃辣条的博客
03-18 1293
Doris实战——工商信息查询平台的湖仓一体建设
clickhouse 集群搭建
The_OneRS的博客
10-27 4782
clickhouse 集群
【clickhouse】clickhouse入门学习之环境搭建-windows下安装ClickHouse教程（详细版）
taobinjiao的博客
07-07 4346
clickhouse入门学习之环境搭建-windows下安装ClickHouse教程（详细版）
【学习笔记】大数据技术之ClickHouse
prague6695的博客
07-26 1055
【学习笔记】大数据技术之ClickHouse
大数据平台搭建
weixin_55983492的博客
10-07 6338
一、jdk安装及配置 1、下载安装包 2、上传安装包 3、解压安装包 [root@master1 ~]# tar -zxvf jdk-8u161-linux-x64.tar.gz 4、移动到指定路径下 [root@master1 ~]# mv jdk1.8.0_161 /opt 5、配置环境变量 [root@master1 ~]# vi /etc/profile [root@master1 ~]# source /etc/profile export JAVA_HOME=/opt/
列式数据库~clickhouse 副本集架构的搭建
weixin_34259232的博客
08-08 1866
clickhouse 搭建副本集 一 原理: 1 依赖ZK,ZK的基础上，ZK存储数据库元数据 2 使用复制表引擎创建复制表,包括ZK路径和副本名,相同ZK路径的表可以相互复制 3 复制表本身拥有数据校验功能,保证数据一致,推荐复制的最佳方案 4 复制最大的速度基本等于机器网卡的最大上限 5 一般创建表的副本名基本都是本机的域名或者IP,这样便于观察和记录 二...
ClickHouse架构概览 —— Clickhouse 架构篇（一）
奔跑的蜗牛的博客
05-27 1686
本文介绍了ClickHouse的整体架构，并对ClickHouse中的一些重要的抽象对象进行了分析。然后此基础上，结合数据库的几个常用的操作，介绍了这些抽象对象的运作机制。ClickHouse 使用的是MPP（Massively Parallel Processing，大规模并行处理）架构，该架构集群中的任意一台服务器都可以单独对外提供服务，是一个多主的结构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值