Apache Doris IP变更问题详解

已于 2023-08-24 17:27:07 修改
阅读量5.5k 收藏 24
点赞数 14
分类专栏： Apache Doris 文章标签： apache 大数据 网络
于 2023-08-19 10:26:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ith321/article/details/132376132
版权
本文详细描述了ApacheDoris在遇到多IP环境下的问题解决过程，包括FE和BE的异常日志分析、配置调整、元数据管理，以及如何通过调整priority_networks配置和元数据恢复模式来确保集群恢复正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Apache Doris IP变更问题详解

一、背景

因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Apache Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP。

priority_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：

priority_networks=10.1.3.0/24

这是一种 CIDR 的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP，作为自己的 localIP。

CIDR采用斜线记法，表示为：IP地址/网络ID的位数。
具体换算方法可以看下面两个例子。

  1. 192.168.0.0/16，换算为32位二进制地址：11000000.10101000.00000000.00000000。其中/16表示16位网络ID，即32位二进制地址中前16位是固定不变的，对应网段为：11000000.10101000.00000000.00000000~11000000.10101000.11111111.11111111。
  2. 192.168.1.2/24，换算为32位二进制地址：11000000.10101000.00000001.00000000。其中/24表示32位二进制地址中前24位是固定不变的，对应网段为：11000000.10101000.00000001.00000000~11000000.10101000.00000001.11111111

当出现如下场景时，ip会变更，从而导致fe/be异常无法正常启动运作

  1. 集群迁移导致ip网段变更
  2. 虚拟环境中动态地址导致ip变更
  3. 重启fe/be前未正常配置priority_networks导致重启后获取的ip与元数据中的不一致

二、环境

硬件信息

  1. CPU ：1C
  2. CPU型号：ARM64
  3. 内存 ：2GB
  4. 硬盘 ：36GB SSD

软件信息

  1. VM镜像版本 ：CentOS-7
  2. Apahce Doris版本 ：1.2.4.1
  3. 集群规模：1FE * 3BE

三、FE恢复

3.1 异常日志

查看fe.out会报如下异常，此时fe进程是无法启动的；
操作前注意备份所有fe的元数据并停止上游读写动作！

在这里插入图片描述

3.2 获取当前ip

ip addr

在这里插入图片描述

3.3 重置ip信息

重置ip信息后还是会报如上异常

# 修改fe.conf的priority_networks
priority_networks = 192.168.0.0/16
# 或者
priority_networks = 192.168.31.78/16

3.4 重置元数据记录

重置元数据记录后fe进程虽然能够启动，但是不可用

# 注释掉fe元数据中之前记录的老ip
vim doris-meta/image/ROLE

在这里插入图片描述

3.5 元数据模式恢复

# 在fe.conf中新增metadata_failure_recovery=true启用恢复模式重启fe
vim fe.conf
metadata_failure_recovery=true

# 此时进入http://192.168.31.78:8030/login 可以打开fe web ui说明可以正常启动fe了

在这里插入图片描述

3.6 重置fe集群节点

虽然使用元数据恢复模式fe目前能够启动，但是还没完全恢复，因为当前fe元数据中记录的集群节点中并没有刚刚修改的ip节点

# 在mysql客户端或者web ui的Playground执行如下sql更新fe元数据中记录的fe节点
# 移除老ip节点
ALTER SYSTEM DROP FOLLOWER "192.168.31.81:9010";

# 新增新ip节点
ALTER SYSTEM ADD FOLLOWER "192.168.31.78:9010";

老ip节点如下

老ip节点

新ip节点如下

新ip节点

3.7 关闭元数据模式重启fe

# 在fe.conf中注释metadata_failure_recovery=true关闭恢复模式重启fe
vim fe.conf
#metadata_failure_recovery=true

# 此时进入http://192.168.31.78:8030/login 可以打开fe web ui说明fe完全恢复了

四、BE恢复

4.1 获取当前ip

ip addr

在这里插入图片描述

4.2 重置ip信息

# 修改be.conf的priority_networks
priority_networks = 192.168.0.0/16
# 或者
priority_networks = 192.168.31.136/16
# 设置完成后重启be即可恢复

4.3 重置be集群节点

虽然当前be已经能够启动，但是还没完全恢复，因为当前fe元数据中记录的be集群节点中并没有刚刚修改的be节点

# 在mysql客户端或者web ui的Playground执行如下sql更新fe元数据中记录的be节点
# 移除老ip节点
ALTER SYSTEM DROPP FOLLOWER "192.168.31.81:9010";
ALTER SYSTEM DROPP FOLLOWER "192.168.31.72:9010";
ALTER SYSTEM DROPP FOLLOWER "192.168.31.133:9010";

# 新增新ip节点
ALTER SYSTEM ADD FOLLOWER "192.168.31.78:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.31.71:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";

3台be都重置后完全恢复如下

在这里插入图片描述

Apache Doris 因为IP变更导致的集群异常问题至此已处理恢复完成，查阅过程中若遇到问题欢迎留言交流

【云原生】docker 部署 Doris 数据库使用详解
congge
09-08 1万+
docker 部署 Doris 数据库使用详解
【硬刚大数据】从零到大数据专家之Apache Doris篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 1859
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 ...
Doris FE 常见问题与处理指南
最新发布
Faith_xzc
04-17 1068
本文将深入剖析 Doris FE 常见问题及其处理办法。
IP地址一键变更小工具
02-04
用笔记本办公经常会遇到公司使用一组固定IP地址，但是到家之后需要修改家里的另一组固定IP地址才可以使用网络的情况（DHCP除外），所以开发此软件。此软件存在个别BUG（尽量在单有线网卡下使用，多余网卡禁用），由于时间有限不打算在继续投入太多时间完善，够用即可！
doris be 节点更换
qq_41349888的博客
12-02 961
如果上面没有清除be下的log目录，和storage目录，那就清除掉即可。接着配置好be的网络，再${doris_home}/be/conf下，vi 编辑be.conf文件。于是开始添加be节点。可以去${doris_home}/be/log下，查看be.WARNING.此时，我们就可以将启动be节点，改为后台 ./start_be.sh --daemon.一搬请跨国下该be节点的空间比较大，可以去除掉be下的log目录和storage目录。2.然后copy另一个可用的be节点包，到新的be节点服务器中。
Doris fe启动失败
1032851561的博客
01-29 7473
由于一直有配置priority_network且机器没更改过网络配置，所以肯定是第二个原因，所以尝试启动另一个FE，注意，此时上面那个192.168.21.5是没完全启动的（9030 mysql查询端口）根本没起来。找到元数据最新那个FE节点(192.168.21.5)，以metadata_failure_recovery=true启动，它将会成为master，然后去掉配置重启，把其它follow删掉重新添加。这是 bdbje 的一个 bug，尚未解决。此时另一个FE报了另外一个错。
Apache（三）修改绑定端口和IP
Rote
03-24 635
  修改httpd.conf文件中的Listen可设置监听端口   默认监听端口是80   Listen 80   设置一、监听端口80和8080   Listen 80 Listen 8080   设置二、绑定指定地址   Listen 10.192.168.111:8080   设置三、绑定IPV6地址，IP地址需用方括号   Listen [2001:db...
Linux系统IP地址变更
wangxiaohigh
11-13 288
1.vi打开/etc/sysconfig/network-scripts/ifcfg-eth0文件 原内容： DEVICE=eth0 BOOTPROTO=dhcp HWADDR=00:03:47:2C:D5:40 ONBOOT=yes TYPE=Ethernet 改为： DEVICE=eth0 BOOTPROTO=static IPADDR=192.168.1.223 N...
2万字长文Doris运维问题大全及参考答案（持续更新）
大模型大数据攻城狮的专栏
06-18 900
Apache Doris（原Palo）是一个面向OLAP（在线分析处理）的MPP（大规模并行处理）数据库系统，专为实时分析和大数据处理场景设计。高性能分析：通过列式存储、向量化执行引擎和先进的查询优化器，Doris能够提供亚秒级的查询响应时间，特别适合复杂的分析查询。易用性：Doris支持标准SQL语法，降低了学习成本，同时提供了丰富的数据导入工具和灵活的数据模型设计，便于用户快速上手。高可扩展性：Doris采用分布式架构，可以轻松横向扩展，通过增加更多的服务器来提升数据处理能力和查询性能。高可用性。
doris赋权
03-12
在 Apache Doris 中，权限管理系统用于控制不同用户对于数据库对象的操作权限。通过该系统可以定义哪些用户能够执行特定类型的查询或者数据修改操作[^1]。 ### 用户角色与权限分配 为了实现细粒度的安全策略，...
Flink CDC Schema Evolution 详解
LiWang112358的专栏
10-23 1779
flink-cdc 3.0 通过加入了SchemaOperator和MetadataApplier，监控链路上所有消息，当发生schema变更时，同步上下游hang住上游flush下游修改下游schema恢复运行这样实现了自动schema变更多并发会加速存量数据的同步，增量数据的读取还是只能通过一个并发。
IP地址变更流程
weixin_45138731的博客
06-14 1257
业务升级和迁移时，我们常常需要变更IP地址，要怎样程式化的变更呢？今天分享更改IP地址的一般流程。
Doris on K8s
千载春秋书风华的博客
01-13 584
以下以doris2.0.3版本为例。
Doris关于priority_networks配置错误，FE无法Alive&Join
gaofeng的博客
03-01 9818
一、环境 虚拟机centos7镜像 https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5下载0.13.15版本doris，懒得编译了 node1~node3三个FE节点 node1~node3三个BE节点 node1~node3三个Broker节点 Java8 mysql5.7 二、priority_networks配置 一开始这个配置是注释了的，结果注册上去的FE地址是一个乱的地址。 所以之后添加的FE在mysql client中看 show proc '/fro
电脑ip地址为什么会自己变更？电脑ip怎么改
热门推荐
hgdlip的博客
08-24 1万+
在当今这个高度依赖互联网的时代，IP地址作为网络设备的身份标识，其稳定性和可管理性对于网络通信的顺畅至关重要。然而，许多用户可能会遇到电脑IP地址自动变更的情况，这不仅可能影响到网络连接的稳定性，还可能给远程访问、网络监控等带来困扰。本文将深入探讨电脑IP地址自动变更的常见原因，并详细介绍如何修改电脑IP地址。
IP地址修改完成
xszbzb的专栏
07-15 824
<br />DWORD dwAddress=192<<24|168<<16|1<<8|168;<br /> m_IPAddress.SetAddress(dwAddress);<br /> DWORD dwNetMask=0xffffff00;<br /> m_NetMask.S
IP地址修改步骤详解
hgdlip的博客
04-13 2902
IP地址是网络设备在网络中的标识，它决定了设备在网络中的位置与可访问性。然而，在某些情况下，我们可能需要修改IP地址，以满足特定的网络需求或解决网络问题。虎观代理将详细介绍IP地址的修改步骤，帮助读者更好地理解和操作。
当路由器外网IP变更时，执行操作
可克技术
04-15 1545
#!/bin/bash #使用法： #sh keep_wan_ip.sh 'up.sh' 当路由器IP 变更时，执行操作 # cmd=$1;getnewip(){ newip=`curl -H 'Authorization:Basic YWRtaW46MTM2NzExOTA4ODU=' http://192.168.57.1/userRpm/StatusRpm.htm -s \ |
亚马逊ip地址变更对账号有影响吗？
聚搜云_上海聚搜信息技术有限公司
08-09 800
1. 及时了解变更通知：亚马逊通常会提前通知ip地址变更的计划，您可以关注亚马逊官方的通知渠道，及时获得相关信息，并准备做好相应的调整。其次，如果您使用了ip地址过滤、白名单等安全措施，ip地址变更也可能导致这些措施失效，从而让未经授权的用户访问您的账号或系统。3. 调整安全措施：根据新的ip地址，调整您的安全措施，比如白名单或防火墙规则等，确保只有授权的用户可以访问您的账号或系统。另外，如果您的网站依赖于特定ip地址进行与其他服务的通信或集成，ip地址变更可能会导致这些功能受影响，甚至无法正常运行。
idea正则查找
03-14
### 如何在 IntelliJ IDEA 中使用正则表达式进行查找和替换 要在 IntelliJ IDEA 中使用正则表达式进行查找和替换操作，可以通过以下方式实现： #### 打开查找与替换对话框 通过快捷键 `Ctrl + R`（Windows/Linux）或 `Cmd + R`（macOS），可以打开“Find and Replace”对话框[^1]。 #### 启用正则表达式模式 在查找输入框旁边有一个选项用于启用正则表达式匹配。确保勾选该选项（通常显示为一个小图标，类似于 `. *` 或者标记为“Regex”）。这样，IDEA 会按照正则表达式的规则解析输入的查找条件[^3]。 #### 正则表达式语法支持 IntelliJ IDEA 支持标准的正则表达式语法。例如： - 使用圆括号 `()` 定义捕获组。 - 可以通过 `$n` 引用第 n 个捕获组的内容，在替换字段中应用这些捕获组的结果[^2]。 #### 示例：简单查找与替换 假设需要将形如 `"example"` 的字符串替换成调用方法的形式 `FYUtils.fyParams("example")`，可以执行以下操作： - **查找内容**: `"(.*?)"` 这里的 `(.*?)` 是一个捕获组，用来提取双引号内的任意内容。 - **替换内容**: `FYUtils.fyParams("$1")` 其中 `$1` 表示第一个捕获组的内容。 #### 复杂场景下的查找与替换 对于更复杂的场景，比如匹配带有特定结尾数字的字符串并将其拆分为多个参数传递给函数，可采用如下设置： - **查找内容**: `"(.*?)(\d)"` 这里 `(.*?)` 和 `(\d)` 分别代表两个不同的捕获组，前者捕捉除最后一位数字外的部分，后者单独捕捉最后一个数字。 - **替换内容**: `FYUtils.fyParams("$1", "$2")` #### 特殊情况处理 如果目标是移除某些 XML 节点中的 `<scope>` 标签及其内容，则可以利用类似的策略： - **查找内容**: `<scope>(.*)</scope>` - **替换内容**: 空白或者注释形式 `<!-- <scope>$1</scope> -->`[^4] ```xml <dependency> <!-- <scope>provided</scope> --> </dependency> ``` 以上代码展示了如何保留依赖项的同时隐藏其作用域信息。 ### 注意事项 当编写复杂正则表达式时，请务必测试其准确性以免误改其他无关部分；另外注意转义特殊字符如反斜杠 `\` 在不同上下文中可能有不同的含义。
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据AI智能圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值