Apache Doris (七) ：Doris分布式部署（四） BE扩缩容

最新推荐文章于 2024-05-07 15:05:16 发布
最新推荐文章于 2024-05-07 15:05:16 发布
阅读量639 收藏
点赞数
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： sql database 大数据 数据仓库 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131387611
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 32 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 34 订阅
订阅专栏
本文详细介绍了Apache Doris的BE节点扩容和缩容过程，包括如何将新BE加入FE集群、使用DROP和DECOMMISSION命令安全删除BE节点，以及注意事项，如数据均衡和防误操作提示。
摘要由CSDN通过智能技术生成

目录

1. BE扩容（创建BE与FE关系）

2. BE缩容

3. BE扩缩容注意问题

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

BE启动之后，与之前部署的FE没有任何关系，现在将在node3~node5上启动的BE连接到FE中组成完成的Apache Doris集群，将BE连接到FE集群中就是BE的扩容，将BE节点从Doris FE集群中去除就是BE的缩容。

BE 节点的扩容和缩容过程，不影响当前系统运行以及正在执行的任务，并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小，集群会在几个小时到1天不等的时间内，恢复到负载均衡的状态。

1. BE扩容（创建BE与FE关系）

了解本专栏 订阅专栏 解锁全文
Apache Doris (五) ：Doris分布式部署（二） FE扩缩容
qq_32020645的博客
06-25 1818
node4、node5节点配置FE完成后，由于是Observer角色，已经存在node1为FE Leader，与添加Follower一样，第一次启动时需要执行如下命令，指定Leader所在节点IP和端口，端口为在fe.conf中edit_log_port配置项，默认为9010。对FE Follower扩容完成后，也可以通过以下命令来进行FE Follower缩容，删除FE Follower节点，需要保证最终剩余的Follower（包括Leader）节点为奇数，这里不再演示FE缩容。
Apache Doris (八) ：Doris分布式部署（五） Broker部署及Doris集群启动脚本
qq_32020645的博客
06-26 1642
Broker 是 Doris 集群中一种可选进程，主要用于支持 Doris 读写远端存储上的文件和目录。建议每一个 FE 和 BE 节点都部署一个 Broker。Broker 通过提供一个 RPC 服务端口来提供服务，是一个无状态的 Java 进程，负责为远端存储的读写操作封装一些操作，如 open，pread，pwrite 等等。
doris be 扩容
qq_15138049的博客
06-20 794
doris be 扩容
Apache Doris 极简运维之BE扩缩容（1）
ith321的博客
08-20 1997
Apache Doris 极简运维之BE扩缩容（1）
下一代实时数据库：Apache Doris 【四】扩容缩容
Maynor的博客
09-24 368
Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。⚫ 该命令是一个异步操作。命令下发后，Doris 会尝试将该 BE 上的数据向其。注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！取消后，该 BE 上的数据将维持当前剩余的数据量。也可以通过页面访问进行监控，访问 8030，账户为 root，密码默认为空不用填写。当然，停止后，正在其上运行的作业会失败，他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。
基于docker的doris集群的扩容
zuoliansheng的博客
05-22 475
一、FE节点的扩容 ①创建使用已有的fe节点制作镜像 先将一台doris的fe 节点做成镜像 docker commit doris-node1 doris-node1:v2 ②根据创建好的镜像生成新的fe所需的docker节点 创建fe节点，原来有4个节点，按名称顺序，就叫doris-node5 docker run -it -d --name doris-node5 -h doris-node5 --network tech --privileged=true doris-node
Doris节点扩容及数据表
weixin_45012397的博客
05-26 1709
表中的列按照是否设置了 AggregationType，分为 Key（维度列）和 Value（指标列），没有设置 AggregationType 的称为 Key，设置了 AggregationType 的称为 Value。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。查询结果后发现，插入的数据全部会被保留，即使两条数据一模一样，也会保留，正常可以操作用户行为日志数据这种。查看数据的时候发现，数据只剩下6条了，就是因为再key相同的时候，将后面的结果聚合了。Row 即用户的一行数据。
Doris进阶——初识Doris_FE、BE、BROKER的扩缩容
weixin_59812175的博客
06-15 9848
Doris的简单介绍以及FE、BE、BROKER的扩缩容
基于Ansible实现Apache Doris快速部署运维指南
weixin_45566993的博客
04-21 393
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 Doris Ansible 使用指南 Apache Doris 介绍 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，
Doris--基础--2.5--部署--扩容和缩容
zhou920786312的博客
03-07 860
【代码】Doris--基础--2.5--部署--扩容和缩容。
Doris扩容缩容
m0_61332144的博客
07-22 622
Doris集群FE分为三个角色：Leader、Follower、Observer，默认只有一个Leader和多个Follower和Observer，当Leader宕机后，Followr会参与选举，选举成功后会成为新的Leader，Observer不参与选举，只同步Leader的数据。命令下发后，该BE节点的数据会向其它BE节点迁移，迁移完成后，Doris会删除该BE节点。取消后，当前BE节点会维持当前数据量，后续Doris会做负载均衡。
MPP数据库之Doris（6）：Doris安装部署之扩容缩容
yang_shibiao的博客
01-28 3162
目录 0. 相关文章链接 1. FE 扩容和缩容 1.1.增加 FE 节点 1.2.删除 FE 节点 2.BE 扩容和缩容 2.1.增加 BE 节点 2.2.删除 BE 节点 2.2.1. drop语句 2.2.3.decommission语句 3.Broker 扩容缩容 0. 相关文章链接 大数据基础知识点 文章汇总 1. FE 扩容和缩容 可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。 用户可以通过 mysql 客户端登陆 Master FE...
Doris BE 配置中文描述
gaofeng的博客
06-11 4222
be配置-有道云链接 摘自社区张家锋老师翻译，感谢锋哥的贡献，我也会不断完善配置说明 BE 配置项 该文档主要介绍 BE 的相关配置项。 BE 的配置文件 be.conf 通常存放在 BE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 be_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。 BE 进程启动后，会先读取 be.conf 中的配置项，之后再读取 be_custom.conf 中的配置项。be_custom.conf 中的配置项会覆盖
Apache Doris (四) ：Doris分布式部署（一） FE部署及启动
qq_32020645的博客
06-24 5801
Apache Doris 中部署多FE的思路为先在一台节点上配置部署一个FE并启动，相当于是启动Doris服务，然后配置更多的FE节点，添加到Doris服务中给该Doris的FE进行扩容，最终形成多节点FE。在node1节点上修改/software/doris-1.2.1/apache-doris-fe/conf/fe.conf配置文件，这里我们主要修改两个参数：priority_networks 及 meta_dir。各个节点上修改/etc/fstab文件，注释掉带有swap的行。
Doris数据库BE——冷热数据方案
肥叔菌的博客
10-05 698
其中 ROWSET 代表着数据导入批次，同一个ROWSET 一般代表着一个批次的导入任务，比如一次 stream load，一个 begin/commit 事务等，都对应一个 ROWSET，ROWSET 的这种特性，意味着其具有着事务的特点，即是说，同一个rowset可以作为一个独立的数据单元存在，其中的数据要么全部有效，要么全部无效。当数据需要转冷的时候，为该热数据分片创建一个冷数据的副本分片，然后将数据转储到冷数据指定的外部集群上，当冷数据副本生成完毕后，将热数据分片删除。
doris 启动be报错
最新发布
weixin_64261178的博客
05-07 1947
报错：./start_be.sh: 行 325: 11605 段错误 ${LIMIT:+${LIMIT}} "${DORIS_HOME}/lib/doris_be" "$@" 2>&1 < /dev/null
Doris be、fe自动拉起 及问题
希夷的博客
08-17 3000
Doris be、fe使用supervisor 实现自动拉起，及错误处理
Doris BE无法启动解决方案
qq_47893941的博客
02-22 1891
因为楼主之前改了be节点的conf文件，改了存储路径。发现提示的日志路径无法创建，而fe节点修改的元数据存储路径却可以正常创建，因此推测是be节点权限不够无法自己创建。今天学习Doris，发现fe可以正常启动，而be却无法正常启动。一切配置都按照正常流程来走的。手动创建存储文件夹再启动be节点即可。
doris删除BE节点，增加BE节点
qq_43224174的博客
07-28 2327
doris删除BE节点，增加BE节点 ERROR 1105 (HY000): errCode = 2, detailMessage = It is highly NOT RECOMMENDED to use DROP BACKEND stmt.It is not safe to directly drop a backend. All data on this backend will be discarded permanently. If you insist, use DROPP instead of
Apache Doris: 大规模并行处理的分布式SQL数据库详解与实践
Apache Doris (Incubating) 是一款由百度开发并于2017年开源的大规模并行处理（MPP）架构的分布式 SQL 数据库。其初衷是为了处理PB级别的大数据集，提供秒级或毫秒级的查询速度，特别适合多维分析和报表查询等场景。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值