Apache Doris 01|集群部署及BE启动遇到问题记录

最新推荐文章于 2024-04-30 15:51:29 发布
最新推荐文章于 2024-04-30 15:51:29 发布
阅读量7k 收藏 18
点赞数 3
分类专栏： Doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longqiancao1/article/details/117665789
版权

目录

集群部署策略：

FE的配置

单个配置fe.conf

集群fe的配置

BE的配置

BE集群的配置

BE启动遇到的问题

问题1：

问题2：

问题3：有一台机器还是端口冲突，修改be.conf里的brpc_port端口

​问题4：be启动了，但是接收不到frontend的心跳

  1. 直接下载编译好的二进制文件，进行解压。（下载地址：百度开源社区选择对应的版本，或linux执行链接下载wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.14.7-release-binary.tar.gz）
  2. 本机的JAVA_HOME配置好

集群部署策略：

节点1配置FE(Leader)
节点2配置FE（Observer）和 BE
节点4配置BE
节点3配置BE

FE的配置

单个配置fe.conf

  1. 在fe下创建doris-meta目录，用来存放元数据。
  2. 配置conf里的fe.conf。很多都是默认设置。修改的地方：
  3. meta_dir = /opt/doris/DORIS-0.14.7-release/fe/doris-meta。就是创建的doris-meta目录；
  4. http_port = 18030。默认是8030端口，如果自己电脑的被占用了，就换一个端口，此处换了18030。如果未被占用，使用默认的。
  5. priority_networks = 192.168.11.37/16。本机的ip地址。（使用 ip a查看后缀是16还是24）
  7. 在fe目录下，启动fe。bin/start_fe.sh --daemon。
  8. 使用jps，查看是否有PaloFe进程，有则启动成功。
  9. 使用MySQL client连接。mysql -h hostname -Pport -uroot。默认使用的port是9030，可在fe.conf里看默认的端口号（query_port = 9030）
  10. mysql -h devtest4.com -P9030 -uroot。
  11. 连接成功，则查询fe节点。SHOW PROC '/frontends'\G (不加";")。查询结果如图。alive=true则成功。

 

集群fe的配置

最低配置，四台主机。

  1. 单台FE服务器配置，参考上面，先别启动。
  2. 将配置好的，且未启动过的文件夹远程拷贝到另外三台机器上。scp -r 文件夹 root@ip:/opt/doris
  3. 修改 conf/fe.conf中的ip。
  4. 启动第一个FE，默认是master，另一个FE初次启动时要指定helper：bin/start_fe.sh --helper devtest4.com:9010 --daemon，否则两台FE不在一个集群上面。
  5. mysql -h devtest4.com -P9030 -uroot。然后在MySQL中添加关联。将另个FE添加为observer。
  6. #添加fe节点
ALTER SYSTEM ADD FOLLOWER "devtest1.com:9010";
ALTER SYSTEM ADD FOLLOWER "devtest2.com:9010";
ALTER SYSTEM ADD OBSERVER "devtest3.com:9010";
#删除节点
alter system drop follower "devtest2.com:9010";
alter system drop observer "devtest3.com:9010";
  7. 添加一个节点之后，可以使用 SHOW PROC '/frontends'; 来查看添加的状态。如果alive都是true则添加成功（可能等几秒）。如果添加不成功就删除节点，再来。

 

BE的配置

  1. 在be下创建storage目录。
  2. 修改conf里的be.conf配置文件。storage_root_path = ${DORIS_HOME}/storage；priority_networks = 192.168.xx.xx/16（可通过ip a查看本机的priority_networks）
  3. mysql -h devtest4.com -P9030 -uroot 进入mysql；
  4. 添加backend信息。
  5. #添加
ALTER SYSTEM ADD BACKEND "devtest1.com:9050";
#如不小心填错了，可用这个删除：
alter system decommission backend "devtest1.com:9050";

  6. 启动be。bin/start_be.sh --daemon (--daemon在后台启动)

  7. 查看be状态。SHOW PROC '/backends'\G。如果alive=true，则启动成功。

BE集群的配置

三个be设置同理。

BE启动遇到的问题

问题1：

初次启动bin/start_be.sh --daemon时，启动不了，出现以下问题

查看日志be.out，有以下日志信息，原因是文件最大句柄数太小。

要做得修改：

  1. 运行以下命令（第一次使用echo来进行写入操作，一开始还看不懂，太菜了。第一行的命令是将双引号里的内容“”写入到、/etc/...这个目录下的limits.conf文件里）
  2. echo "* soft nofile 204800"  >> /etc/security/limits.conf
echo "* hard nofile 204800"  >> /etc/security/limits.conf
echo "* soft nproc 204800"  >> /etc/security/limits.conf
echo "* hard nproc 204800 "  >> /etc/security/limits.conf

  3. 修改 /etc/sysctl.conf, 加入这个设置
echo   fs.file-max = 6553560  >> /etc/sysctl.conf
  4. 查看是否修改成功
    cat /etc/security/limits.conf
    cat /etc/sysctl.conf
  6. ulimit -a。查看open file的数量，如果是1024，改大一点，我改成两万。
  8. vi /etc/profile。添加行：ulimit -u 204800
  9. source一下就立即生效了，不用重启。
  10. 重新连接服务器，查看 ulimit -a 看修改是否成功。

问题2：

也是启动不了，查看日志，有以下信息。

ev_http_server.cpp:91] Check failed: s.ok() Internal error: tcp listen failed, errno98, errmsg=Address already in use

问题http_server已经在启动，说明是webserver_port 端口冲突了，修改be.conf中的端口。重新启动，就好了。

问题3：有一台机器还是端口冲突，修改be.conf里的brpc_port端口


问题4：be启动了，但是接收不到frontend的心跳

查看日志，backend ip问题，看了be.conf配置信息，是priority_networks的ip地址写错了一个数字。（绝绝子...）改了之后，关闭重新启动。终于所有的be都是alive=true的了。

太艰难了。看不懂日志信息带来的痛苦..-_-..

问题5：

W0719 14:20:47.460163 12221 logging.h:72] [ClientConfiguration] Retry Strategy will use the default max attempts.
E0719 14:20:48.516461 12221 storage_engine.cpp:370] File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W0719 14:20:48.516521 12221 storage_engine.cpp:174] check fd number failed, error: Internal error: file descriptors limit is too small
W0719 14:20:48.516537 12221 storage_engine.cpp:103] open engine failed, error: Internal error: file descriptors limit is too small
F0719 14:20:48.517168 12221 doris_main.cpp:202] fail to open StorageEngine, res=file descriptors limit is too small

问题6：linux ssh远程执行脚本报错（本地可以）JAVA_HOME is not set

解决办法：
vi /etc/bashrc
export JAVA_HOME=本机的路径
source /etc/bashrc
原因：
远程机器的java_home在配置在/etc/profile中的，这个只给shell用户使用的；但对于ssh 这种非login shell(non-login shell)用户，需要配置在/etc/bashrc中。

爱吃鱼的荔果果
关注
专栏目录
Apache Doris (六) ：Doris分布式部署（三） BE部署及启动
qq_32020645的博客
06-25 931
将资料中的“apache-doris-dependencies-1.2.1-bin-x86_64.tar.xz”进行解压，将其中“java-udf-jar-with-dependencies.jar”，将此jar包放入“/software/doris-1.2.1/apache-doris-be/lib”下，该jar包用于支持 1.2.0 版本中的 JDBC 外表和 JAVA UDF。注意启动BE后，jps看不到对应的进程（C++编写），可以通过“ps aux|grep be”命令来查看对应的BE进程。
Apache Doris (八) ：Doris分布式部署（五） Broker部署及Doris集群启动脚本
qq_32020645的博客
06-26 1542
Broker 是 Doris 集群中一种可选进程，主要用于支持 Doris 读写远端存储上的文件和目录。建议每一个 FE 和 BE 节点都部署一个 Broker。Broker 通过提供一个 RPC 服务端口来提供服务，是一个无状态的 Java 进程，负责为远端存储的读写操作封装一些操作，如 open，pread，pwrite 等等。
Doris BE启动出错
南风知我意
05-12 2689
Doris BE启动出错 问题描述 查看be的log文件出现以下日志： ev_http_server.cpp:91] Check failed: s.ok() Internal error: tcp listen failed, errno98, errmsg=Address already in use 原因分析： 出现这种情况 明显是端口被占用了 BE 所需端口号： 解决方案： 1，执行 netstat -ntulp //查看所有端口使用情况，把占用的端口号 kill -9 2，更改
Apache Doris集群模式快速体验之标准部署（2）
ith321的博客
07-02 1380
基于CentOS的Apache Doris集群模式快速体验
在Ubuntu20.04单机部署Doris1.1
云来山更佳，云去山如画
08-15 2934
在Ubuntu20.04单机部署Doris1.1
MPP数据库之Doris（7）：Doris安装部署之常见问题
yang_shibiao的博客
01-28 4848
目录 0. 相关文章链接 1. 如何确定 FE 进程启动成功 2.如何确定 BE 进程启动成功 3.搭建系统后，如何确定 FE、BE 连通性正常 4.Doris 各节点认证机制 5.BE 进程文件句柄数 0. 相关文章链接 大数据基础知识点 文章汇总 1. 如何确定 FE 进程启动成功 FE 进程启动后，会首先加载元数据，根据 FE 角色的不同，在日志中会看到 transfer from UNKNOWN to MASTER/FOLLOWER/OBSERVER。最终会看到 thri...
Apache Doris 1.1.2 BE 安装包
10-02
Apache Doris 是一款高效、易用的开源列式数据库，主要应用于实时分析场景，如在线数据分析（OLAP）和大数据处理。在这个特定的压缩包中，我们关注的是Apache Doris的 Backend（BE）组件，它是Doris系统的核心部分，...
下一代实时数据库：Apache Doris 【三】集群部署_doris的软硬件条件
最新发布
2401_84166567的博客
04-30 750
有 SSD 最好)。⚫ 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定， 才能正确识 别。⚫ JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。3)启动 hadoop1 的 FE。
Doris 1.1.5集群部署
qq_41924766的博客
05-31 698
Doris集群部署及扩缩容的讲解
doris原生安装
select_where的博客
11-09 1528
doris原生安装
Doris环境安装部署
记录的技术
07-06 302
Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，有数仓构建、数据湖联邦查询加速等使用场景，项目是由百度公司捐献给apache基金会的。Doris分两类角色，FE和BE，FE负责用户请求接入，元数据和节点管理等，BE负责具体数据存储和查询任务的执行。具体请参考：https://doris.apache.org/zh-CN/docs/1.2/# vim /opt/doris-fe/conf/fe.conf 编辑配置文件。# bin/start_fe.sh --daemon 启动fe。
Doris集群环境搭建
Learning_xzj的博客
10-18 4256
首页 - Apache DorisJava语言开发，存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果。C++语言开发，Doris 系统的计算和存储节点，根据FE生成的物理执行计划，然后进行查询（分布式，多节点并行执行查询，统一汇总），同时BE还会将数据存储为多副本。BrokerBroker 为一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括HDFS，S3，BOS等。Doris端口列表Doris镜像版本与编译环境对应关系。
hadoop启动时显示JAVA_HOME没设置（could not be found）
薛定谔的哈士奇博客
06-02 9699
错误如： master ：Error: JAVA_HOME is not set and could not be found. echo 也有显示： 我的是hadoop-2.6.1版本（有的版本可能是conf文件夹），此时你需要进入hadoop/etc/hadoop文件夹下将 export JAVA_HOME=${JAVA_HOME}显示修改为 export JAVA_HOME...
记录apache doris使用过程中出现的问题
热门推荐
qq_31866793的博客
10-28 3万+
1，执行创建语句过程中出现： [Err] 1064 - errCode = 2, detailMessage = Failed to find enough host in all backends. need: 3 原因： 语句中指定了PROPERTIES("replication_num" = "3"); 结果BE只有2个： 查看对应节点的日志：. ==> ./be.WARNING.log.20200921-141304 <== W1026 18:13:39.1399..
centos file-max
颢喆的专栏
10-13 1776
Command To List Number Of Open File Descriptors Use the following command command to display maximum number of open file descriptors: ca
阿里云centos环境之linux上redis安装及踩过的坑(七)
陈袁的博客
11-13 3万+
阿里云centos环境之linux上redis安装及踩过的坑<七> 阿里云centos环境之linux上redis安装及踩过的坑七 第一下载上传 第二解压安装 第三修改配置 第四启动 第五用redis-cli测试内网 第六用java测试外网 总结 其它第一：下载上传1.直接在官网下载 2.使用wget命令下载：wget http://download.redis.io/releases/redis
LoadRunner11-遇到问题及解决办法（汇总）
weixin_30532369的博客
03-13 4211
LoadRunner11-遇到问题及解决办法 1、LoadRunner超时错误：在录制Web服务器端，如果超过120秒服务器协议脚本回放时超时情况经常出现，产生错误的原因也有很多，解决的方法也不同。错误现象1：Action.c(16): Error -27728: Step download timeout (120 seconds) has expired when downloadin...
apache Doris安装
05-20
安装Apache Doris需要以下步骤： 1. 下载和安装Java：Doris需要Java的支持，因此请确保在安装Doris之前，您已经在系统上安装了Java。您可以从官方网站上下载和安装最新版本的Java。 2. 下载和解压Doris二进制包：从Apache Doris的官方网站上下载最新版本的二进制包，并将其解压到您希望安装Doris的目录中。 3. 配置Doris：在Doris的conf目录中，您需要编辑doris-env.sh文件，设置JAVA_HOME变量，以及其他一些配置参数，如Doris的端口号等。 4. 启动Doris：运行bin/startup_fe.sh启动Doris前端进程，然后运行bin/startup_be.sh启动Doris后端进程。 5. 使用Doris：在Doris启动后，您可以通过Web UI或者命令行界面来管理和使用Doris。 希望这些步骤能够帮助您安装和使用Apache Doris。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值