本文详细介绍了如何配置Spark单点Master与三点Worker集群。首先解压Spark并配置环境变量，接着修改`spark-env.sh`文件，设置`JAVA_HOME`和`SPARK_MASTER_IP`。然后重命名`slaves`文件并添加worker节点。通过SCP将配置分发到其他节点，最后启动集群和Spark shell，使用Spark运行Word Count任务。
Spark单点Master 三点 Worker 配置
解压spark
tar -xzvf ./spark-1.6.2-bin-hadoop2.6.tgz
进入conf文件目录重命名spark-env.sh
cd ./conf/
mv spark-env.sh.template spark-env.sh
修改配置 spark-env.sh在其中添加环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el6_10.x86_64
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
进入conf 重命名slaves.template
mv ./slaves.tmplate slaves
在修改好的slaves 添加 worker节点
hadoop1
hadoop2
hadoop3
将配置 分发给其他节点
scp -r ./spark-1.6.2 hadoop2:/home/hadoop
scp -r ./spark-1.6.2 hadoop3:/home/hadoop
启动工作集群
./sbin/start-all.sh
启动联机版 shell
最低0.47元/天 解锁文章
扫一扫
2321
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
