Linux 7.9 部署 Spark 2.3.4 StandAlone 集群
进行下述操作之前,已通过 JDK 的官方介质路径,下载了 jdk1.8.0_333 介质,并已存放至每个节点的 /data/service/jdk 目录下。建议在进行 Spark 部署之前,先将 Spark 的服务目录添加至全局环境变量中,以便后续的部署和使用中,可直接通过变量来指定 Spark 服务目录。在实际生产中,建议将 Spark 的数据目录至少分配到 2 个不同的磁盘存放,其目的在于增加数据的安全性,但不会起到负载均衡的效果。按节点分布,除 hadoop2 节点外,都进行如下操作。
原创
2024-01-21 10:37:25 ·
916 阅读 ·
0 评论