大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细！

于 2024-09-28 10:50:59 发布
阅读量558 收藏 10
点赞数 11
分类专栏： 大数据 Druid 文章标签： 大数据 apache java flink clickhouse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w776341482/article/details/142612112
版权

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Druid 系统架构 核心组件介绍
  • Druid 单机模式配置启动

在这里插入图片描述

整体介绍

Apache Druid 是一种高性能、分布式的列式存储数据库，专门用于实时分析和查询大规模数据集。它适用于 OLAP（在线分析处理）场景，尤其在处理大数据实时流时表现优异。Druid 的架构由多个组件组成，主要包括数据摄取、存储、查询和管理。

在集群配置方面，Druid 通常由以下节点构成：

  • 数据摄取层：使用 MiddleManager 节点来处理数据的实时摄取，负责从不同数据源（如 Kafka、HDFS 等）读取数据并进行实时处理。
  • 存储层：数据存储在 Historical 节点上，这些节点负责存储和管理较老的数据，支持高效的查询。数据被以列式格式存储，优化了查询性能。
  • 查询层：Broker 节点充当查询路由器，接受用户的查询请求并将其分发到相应的 Historical 或 Real-time 节点，然后将结果汇总返回给用户。
  • 协调层：Coordinator 节点负责集群的状态管理和数据分配，确保数据均匀分布并自动处理节点故障。

Druid 的配置文件允许用户自定义参数，如 JVM 设置、内存分配和数据分片策略，以便根据不同的工作负载和性能需求进行优化。此外，Druid 还支持多种查询语言，包括 SQL，便于用户进行灵活的数据分析。整体上，Druid 提供了一种高效、可扩展的解决方案，适合需要快速实时分析的大数据应用场景。

修改配置【续接上篇】

historical

参数大小根据实际情况调整

vim $DRUID_HOME/conf/druid/cluster/data/historical/jvm.config

原配置内容如下所示：

-server
-Xms8g
-Xmx8g
-XX:MaxDirectMemorySize=13g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改内容如下：

-server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=1g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改结果如下图：
在这里插入图片描述
此外还有一个参数：

vim $DRUID_HOME/conf/druid/cluster/data/historical/runtime.properties

原配置内容如下：

druid.processing.buffer.sizeBytes=500MiB

修改为如下内容：

# 相当于 50MiB
druid.processing.buffer.sizeBytes=50000000

修改的截图如下：
在这里插入图片描述
备注：

  • druid.processing.buffer.sizeBytes 每个查询用于聚合的对外哈希表的大小
  • maxDirectMemory = druid.processing.buffer.sizeBytes * (durid.processing.numMergeBuffers + druid.processing.numThreads + 1)
  • 如果 druid.processing.buffer.sizeBytes太大的话，需要加大 maxDirectMemory，否则 historical服务无法启动

broker

vim $DRUID_HOME/conf/druid/cluster/query/broker/jvm.config

原配置如下：

-server
-Xms12g
-Xmx12g
-XX:MaxDirectMemorySize=6g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改配置如下：

-server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=512m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改截图如下图：
在这里插入图片描述

此外还需要修改额外的参数：

vim $DRUID_HOME/conf/druid/cluster/query/broker/runtime.properties

原参数为：

druid.processing.buffer.sizeBytes=500MiB

修改为：

# 与刚才修改的一样 大约是50MiB
druid.processing.buffer.sizeBytes=50000000

修改截图如下所示：
在这里插入图片描述
备注：

  • druid.processing.buffer.sizeBytes 每个查询用于聚合的堆外哈希表的大小
  • maxDirectMemory = druid.processing.buffer.sizeBytes*(druid.processing.numMergeBuffers + druid.processing.numThreads + 1)
  • 如果 druid.processing.buffer.sizeBytes 太大，那么需要加大maxDirectMemory，否则 broker 服务无法启动

router

vim $DRUID_HOME/conf/druid/cluster/query/router/jvm.config

原配置如下：

-server
-Xms1g
-Xmx1g
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改配置如下：

-server
-Xms128m
-Xmx128m
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改截图如下：
在这里插入图片描述

配置汇总

  • coordinator-overlord：512M
  • historical：512M，堆外1G
  • middleManger：128M
  • broker：512M、堆外512M
  • router：128M，堆外128M

分发软件

你可以用的方式完成，我这里用之前写好的 rsync-script 工具进行分发，刚才我们配置都是在 h121 节点上完成的，所以接下来，我们从 h121 节点分发到 h122、h123

rsync-script apache-druid-30.0.0

运行结果如下图所示：

在这里插入图片描述
分发之后，要注意你需要修改的东西：

  • common.runtime.properties中的 druid.host 为所在节点的IP
  • h121 h122 h123 上都配置好环境、环境变量等内容

启动服务

ZK启动

在三台节点上都需要启动ZK，并且需要组成ZK集群。
这部分内容之前已经有 ZooKeeper集群环境搭建，且在多个环节中，如Kafka集群环节中已经测试过。

zkServer.sh start

启动 Hadoop

start-all.sh
# 或者只启动 dfs也行
start-dfs.sh

执行结果如下图所示：
在这里插入图片描述

Druid启动

h121 查询节点

这里是查询节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-query-server &

运行结果如下图所示：
在这里插入图片描述

h122 数据节点

这里是数据节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-data-server &

运行结果如下图所示：
在这里插入图片描述

h123 主节点

这里是主节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-master-no-zk-server &

运行结果如下所示：
在这里插入图片描述

日志查看

可以在log下查看，我这里是查看了 nohup 的内容

h121

在这里插入图片描述

h122

在这里插入图片描述

h123

在这里插入图片描述

停止服务

需要在每个节点都执行：

# 在各个节点运行
/opt/servers/apache-druid-30.0.0/bin/service --down

查看界面

http://h121.wzk.icu:8888

页面结果如下：
在这里插入图片描述
在这里插入图片描述
到此！顺利完成！一路艰难险阻！

武子康
关注
专栏目录
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1592
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
2024年大数据高频面试题(下篇）
热门推荐
program哲学
07-17 1万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细！
最新发布
永远好奇，无限进步！
09-28 289
Apache Druid 集群模式 配置启动【上篇】 超详细！将MySQL驱动链接到：$DRUID_HOME/extensions/mysql-metadata-storage 中。上述文件链接到 conf/druid/cluster/_common 下。参数大小根据实际情况调整。参数大小根据实际情况调整。
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
itxiaoshen博客
01-31 914
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式。
深度分析Apache Druid：定义、对比、使用场景、选型指南及注意事项
weixin_48313678的博客
06-24 951
是一款开源的分布式数据存储和查询系统，专为实时数据摄取、快速查询和高吞吐量设计。Druid结合了数据仓库、时间序列数据库和搜索系统的特点，适用于需要低延迟、高并发查询的场景。Druid的核心功能包括实时数据摄取、OLAP查询、高可用性和水平扩展性。Apache Druid作为一款高性能的分布式数据存储和查询系统，在实时数据分析、交互式分析和时间序列数据处理等场景中表现出色。通过与其他同类型数据库的对比，本文详细分析了Druid的优缺点、使用场景和选型指南，并提供了使用时的注意事项。
一篇文章了解 Apache Druid
Shockang的博客
12-18 673
# 前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ > 本专栏目录结构和参考文献请见[大数据技术体系](https://blog.csdn.net/Shockang/article/details/117266839) --- # 概述
Apache Durid （HDFS原理 特性 读写测试 集群部署 架构设计）
m0_46690280的博客
08-26 747
Apache Durid （HDFS 集群部署）Apache Durid （HDFS 集群部署）1. 分布式文件HDFS1.1 HDFS简介1.1.1 HDFS发展历史1.1.2 HDFS设计目标 Apache Durid （HDFS 集群部署） 1. 分布式文件HDFS 1.1 HDFS简介 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目，它的设计初衷是为了能够支持高吞吐和超大文件读写操作 HDFS 源于 Google 在2003年
Apache Druid（二、架构设计）
yyoc97的专栏
08-21 621
文章目录回顾架构 整体设计进程服务作用数据流数据生产数据查询查询的优化索引服务存储设计Datasrouces and segmentssegment设计 特殊数据结构命名设计实际物理存储Segment创建过程参考 回顾 上一篇提供druid的安装是很早的版本了 https://blog.csdn.net/yyoc97/article/details/88411429，目前druid的安装使用会更简洁些快速入门。因为现在接触的业务有使用到这个组件，今天我们再来学习下它整体的架构。 架构 整体设计 这个是Dr
OLAP分析引擎Druid配置文件详解（二）：公共配置文件common.runtime.properties
gan785160627的博客
04-07 1237
摘要：   本文是Druid配置文件系列博文的第二篇，在前一篇中介绍了Druid配置文件的组织结构，这一篇开始详细介绍各个配置文件中参数、意义、候选值等相关说明。本文主要介绍公共配置文件common.runtime.properties。 common.runtime.properties配置文件参数介绍   本文会对common.runtime.properties中的参数分组进行介绍。 1....
6、Druid的Roll up详细介绍及示例
05-24
Apache Druid 是一个高性能的分布式时序数据库，特别适合实时分析和大数据处理。在Druid中，Roll-up（也拼写为rollup...通过理解并熟练运用这些概念，用户可以更好地设计Druid集群，优化查询效率，实现高效的数据分析。
大数据--数据仓库1--电商数据仓库项目最全总结1
数据挖掘+大数据研发+算法学习
04-15 5835
目录 一：项目来源： 二：数据仓库概念 2.1 业务数据 2.2用户行为数据 2.3数据仓库结构图 三：项目需求及架构设计 3.1项目需求分析 3.2.1 技术选型 3.2.2 系统数据流程设计 3.2.3 框架版本选型 3.2.4测试集群服务器规划 四：数据生成模块 4.1目标数据 五：数据采集模块 六：电商业务简介 6.1电商业务流程 6.2电商业务表结构 七 业务数据采集模块 7.1 Mysql安装，配置 7.2 业务数据生成:sql脚本 7.3 Sqoop.
如何实现全行业证照一站式结构化识别？Textln企业资质证照识别上线！
b_qixin的博客
09-26 299
对于无Key的Value信息，例如下图中的证照名称“药品经营许可证”，模型也可基于强大的语义理解能力与所具备的专项领域知识，实现准确完整的关键信息抽取。，并理解信息间的对应关系，以“K-V对”的形式自动实现证照中全部关键信息的结构化抽取，提升信息数据的提取和录入效率。除抽取证照中的文本信息外，模型集成了印章检测能力，可以捕捉资质证照中的印章信息，并输出印章的类型、颜色、形状及内容。自动识别录入企业经营资质信息，可应用于机构开户、经营性贷款审批等金融服务场景，提升信息录入效率，控制业务风险。
从 Kafka 到 WarpStream： 用 MinIO 简化数据流
MinIO
09-27 667
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章。此次收购进一步增强了 WarpStream 提供高性能、云原生数据流的能力，巩固了其作为 Kafka 的可扩展且经济高效的替代方案的地位。本教程将引导您开始使用 WarpStream 和 MinIO，并解释结合使用这些工具如何为您的流媒体架构提供简单性、灵活性和成本节约。
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 211
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
[单master节点k8s部署]23.构建EFK日志收集平台（二）
weixin_45396500的博客
09-24 970
这里的PVC的name是data，这里容器绑定的存储名称也是data，路径为/usr/share/elasticsearch/data。创建了elasticsearch的服务（elasticsearch_svc.yaml）,定义了两个接口，一个是对外的，一个是elasticsearch集群内部通信的。这里的三个初始化容器是为了更好的准备elasticsearch的容器环境，确保在elasticsearch启动之前，所有的权限都已经配置正确。这里需要介绍pod的创建顺序。
当微服务中调度返回大数据量时如何处理
ZDFXN的博客
09-27 195
总之，当需要返回大数据量时，可以根据具体的需求和技术特点选择合适的方案。同时，通过限制每页显示的数据条数，可以减少网络传输的负担。同时，通过分布式计算，可以实现数据的并行处理，提高处理效率。同时，通过异步处理，可以避免阻塞主线程，提高系统的并发能力。适用场景：适用于需要实时处理大量数据的场景，如电商网站的实时交易监控、物联网设备的数据采集等。适用场景：适用于需要展示大量数据列表的场景，如电商平台的商品列表、社交媒体的动态列表等。适用场景：适用于需要频繁读取同一份数据的场景，如用户信息查询、热点数据统计等。
微服务--SpringAMQP
weixin_51933701的博客
09-27 673
高级消息队列协议，是应用程序之间传递业务消息的开放标准，与语言和平台无关，更符合微服务架构中独立性的要求。：基于AMQP协议定义的一套API规范，提供了模板来发送和接收消息。是基础抽象，是底层的默认实现。SpringAMQP利用SpringBoot实现了自动装配，使用非常方便。
Doris的Routine Load方式消费Kafka数据进入Doris
qq_25954159的博客
09-24 343
最后kafka的数据就可以源源不断的存储到doris表里面了。假设kafka已有嵌套JSON数据格式为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

武子康

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值