Apache Doris (八) ：Doris分布式部署（五） Broker部署及Doris集群启动脚本

最新推荐文章于 2024-12-27 09:15:08 发布
最新推荐文章于 2024-12-27 09:15:08 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： sql database 大数据 数据仓库 etl etl工程师
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131406766
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 32 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 34 订阅
订阅专栏
本文介绍了Apache Doris的Broker部署与扩缩容，包括每个FE和BE节点上部署一个Broker的建议，Broker的无状态特性，以及启动、加入Doris集群的步骤。此外，还讲解了Doris集群的启停脚本编写，用于方便集群的日常管理。
摘要由CSDN通过智能技术生成

目录

1.Broker部署及扩缩容

1.1 BROKER 部署

1.2 BROKER 扩缩容

2. Apache Doris集群启停脚本

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

1.Broker部署及扩缩容

Broker 是 Doris 集群中一种可选进程，主要用于支持 Doris 读写远端存储上的文件和目录。建议每一个 FE 和 BE 节点都部署一个 Broker。

Broker 通过提供一个 RPC 服务端口来提供服务，是一个无状态的 Java 进程，负责为远端存储的读写操作封装一些操作，如 open，pread，pwrite 等等。除此之外，Broker 不记录任何其他信息，所以包括远端存储的连接信息、文件信息、权限信息等等，都需要通过参数在 RPC 调用中传递给 Broker 进程，才能使得 Broker 能够正确读写文件。

Broker 仅作为一个数据通路，并不参与任何计算，因此仅需占用较少的内存。通常一个 Do

了解本专栏 订阅专栏 解锁全文
Apache Doris (五) ：Doris分布式部署（二） FE扩缩容
qq_32020645的博客
06-25 1818
node4、node5节点配置FE完成后，由于是Observer角色，已经存在node1为FE Leader，与添加Follower一样，第一次启动时需要执行如下命令，指定Leader所在节点IP和端口，端口为在fe.conf中edit_log_port配置项，默认为9010。对FE Follower扩容完成后，也可以通过以下命令来进行FE Follower缩容，删除FE Follower节点，需要保证最终剩余的Follower（包括Leader）节点为奇数，这里不再演示FE缩容。
Apache Doris系列之：安装与部署详细步骤
zhengzaifeidelushang的博客
07-29 1862
使用mysql-client连接启动的FE，执行以下命令ALTERSYSTEMADDBROKERbroker_name“broker_host1broker_ipc_port1”,“broker_host2broker_ipc_port2”,…当BE在汇报任务完成信息时，会携带自己的IP地址。如果不在[min_file_descriptor_number,max_file_descriptor_number]区间内，BE进程启动会出错，可以使用ulimit进行设置。...
apache doris 从部署到应用全解
06-27
apache doris 从部署到应用全解 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即时查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Doris集群的搭建以及扩容缩容
weixin_44449054的博客
12-06 1109
doris实时数仓的搭建、扩容，缩容，升级，问题记录
Doris--基础--2.6--部署--BROKER
zhou920786312的博客
03-07 705
要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节点列表。进入/home/hd/doris目录。
MPP数据库之Doris（5）：Doris安装部署之Broker部署
yang_shibiao的博客
01-28 3431
目录 0. 相关文章链接 1. 安装包准备和上传 2.FS_Broker 部署 0. 相关文章链接 大数据基础知识点 文章汇总 1. 安装包准备和上传 上传doris已经编译的安装包，关于doris编译参考MPP数据库之Doris（2）：Doris之Broker编译博文，在doris 0.15版本 中的 apache_hdfs_broker 插件中有已经编译好的安装包，可以自行下载。 安装地址为：/opt/module/doris 2.FS_Broker 部署 Broker ...
Doris单机部署——2.0.1.1版本
雷神乐乐的博客
11-26 3987
Doris单机部署——2.0.1.1版本
Doris集群部署
qq_41891244的博客
07-29 1892
启动FE节点 bin/start_fe.sh --daemon --helper leader-ip:port --daemon,这里只有第一次启动需要加--helper leader-ip:port，来指定leader节点的ip和端口号，后面就不需要了。添加FE(FOLLOWER )节点 ALTER SYSTEM ADD FOLLOWER "fe_host:edit_log_port"启动fe bin/start_fe.sh --daemon。) 连接到 FE，只有一台FE时，默认启动是leader。
第2章 Doris3.x分布式集群安装部署【亲测可用】
yangjun_1985的博客
12-05 379
本文详细介绍如何亲自测试并成功搭建Doris 3.x最新版本的分布式集群。作者通过手把手的教程，引导读者完成从环境准备到集群配置的每一步骤，确保整个搭建过程顺利进行。Doris作为一款高性能、实时分析型数据库，其最新版本带来了诸多优化与改进，使得分布式集群的搭建更加高效稳定。本文旨在帮助读者快速掌握Doris 3.x分布式集群的搭建方法，以便在实际项目中应用并发挥其强大的数据分析能力。
【亲测可用】Doris3.x分布式集群安装部署-最新版本
最新发布
yangjun_1985的博客
12-27 620
Doris 作为⼀款开源的 MPP 架构的OLAP 数据库，能够运⾏在绝⼤多数主流的商⽤服务器上。为了能够充分运⽤ MPP 架构的并发优势，以及 Doris 的⾼可⽤特性，我们建议 Doris 分布式集群的部署遵循以下要求。
Apache Doris (二十六）：Doris 数据导入(四）Broker Load -2 案例及注意事项
qq_32020645的博客
07-14 423
之后的提交会直接拒绝。关于Broker Load更多注意事项可以参考官网：https://doris.apache.org/zh-CN/docs/dev/data-operate/import/import-way/broker-load-manual。将file1.csv文件上传至hdfs://mycluster/input/city=beijing/utc_date=2023-03-10/file1.csv。将json_file.json文件上传至hdfs://mycluster/input/路径下。
Doris：部署Broker
程裕强的专栏
08-31 1529
如果机器有多个IP，需要配置priority_networks 1、启动Broker [root@node1 ~]# cd /app/doris-0.14.13/apache_hdfs_broker/ [root@node1 apache_hdfs_broker]# sh bin/start_broker.sh --daemon [root@node1 apache_hdfs_broker]# jps 10400 PaloFe 12744 Worker 14153 BrokerBootstrap 12249
Doris启停脚本
asd623444055的博客
08-19 1188
echo "------正在启动Doris集群------"echo "------正在停止Doris集群------"echo "------启动BROKER------"echo "------停止BROKER------"echo "------启动FE集群------"echo "------启动BE集群------"echo "------停止BE集群------"echo "------停止FE集群------"
Doris 1.1.5集群部署
qq_41924766的博客
05-31 753
Doris集群部署及扩缩容的讲解
doris集群部署
qq_45360515的博客
04-20 653
由于fe.conf里面由于端口冲突的问题，当时把edit_log_port修改为9050，所以需要把be.conf配置里面的heartbeat_service_port = 9050修改为heartbeat_service_port = 9070。日志默认存放在 be/log/ 目录下。如启动失败，可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。这里部署的是一主三从，所以是dev01节点(fe & be) ，dev02节点（be）, dev03节点（be)。
DORIS集群部署
gamespiay123的博客
08-11 567
doris集群部署
Apache Doris 0.12.0源码编译成功与HDFS Broker整合
资源摘要信息:"apache-doris-0.12.0-incubating-src.tar.gz-hdfs_broker.zip 编译ok" 从给定文件信息中，我们可以提取出以下IT知识点： 1. Apache Doris介绍： Apache Doris是一个开源的MPP（大规模并行处理）分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值