本文详细介绍了如何在多节点环境中进行Spark的高可用安装和配置，包括设置JAVA_HOME、HADOOP_CONF_DIR、SPARK_MASTER_IP等环境变量，配置slaves和spark-defaults.conf文件，以及启动和关闭Spark服务的步骤。同时，强调了检查Hadoop集群状态和验证监控功能的重要性。
（1）解压安装包到/usr/local下。
| tar -zxf /opt/spark-1.6.3-bin-hadoop2.6.tgz -C /usr/local |
（2）进入/usr/local/spark-1.6.3-bin-hadoop2.6/conf。
| cd /usr/local/spark-1.6.3-bin-hadoop2.6/conf |
3）配置spark-env.sh文件，复制spark-env.sh.template文件,重命名为spark-env.sh。
配置spark-env.sh文件
Java的路径：
JAVA_HOME=/usr/java/jdk1.8.0_151
hadoop的路径：
HADOOP_CONF_DIR=/usr/local/hadoop-2.6.5/etc/hadoop
spark主节点的ip：
SPA
最低0.47元/天 解锁文章
扫一扫
613
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
