Hadoop环境基于我的前一篇博文（如何搭建Hadoop HA集群）
集群规划
| 节点 | NN-1 | NN-2 | DN | ZK | ZKFC | JNN | Spark Master | Spark Worker |
|---|---|---|---|---|---|---|---|---|
| hdp-master1 | * | * | * | |||||
| hdp-master2 | * | * | 备 | |||||
本文详细介绍了如何在已有的Hadoop环境下部署Spark。首先进行集群规划，接着准备Spark安装包并修改相关配置，包括在HDFS创建目录，配置spark-env.sh、slaves和spark-defaults.conf文件。随后，将Spark文件分发到所有节点，并在master节点启动Spark。通过检查Spark UI确认Alive状态的节点，并在该节点上启动slaves。最后，访问Spark web界面，完成部署。
最低0.47元/天 解锁文章
扫一扫
738
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
