Celeborn0.5.0和HDFS、YARN混合部署

环境说明

• celeborn和HDFS、YARN部署在同一套集群中
• 准备三台服务器，分别为：bigdata141（hadoop 主节点）、bigdata142、bigdata143
• 确保 hadoop 集群先启动好，我这边的 hadoop 版本为 3.2.0
• spark集群基于 yarn 部署好，我这边的 spark 版本为 3.1.3
• 另准备一台服务器，bigdata144，作为 hadoop 客户端节点，也是作为spark的客户端节点

下载安装包

下载链接：Download - Apache Celeborn™

这边选择 0.5.0 版本

下载完后上传到 bigdata141 的 /data/soft/ 目录下

 解压并配置

解压

 解压，然后进入

[root@bigdata141 soft]# tar -zxvf apache-celeborn-0.5.0-bin.tgz
[root@