Spark集群搭建

本文详细介绍了如何配置Spark单点Master与三点Worker集群。首先解压Spark并配置环境变量,接着修改`spark-env.sh`文件,设置`JAVA_HOME`和`SPARK_MASTER_IP`。然后重命名`slaves`文件并添加worker节点。通过SCP将配置分发到其他节点,最后启动集群和Spark shell,使用Spark运行Word Count任务。
摘要由CSDN通过智能技术生成

Spark单点Master 三点 Worker 配置

解压spark

tar -xzvf ./spark-1.6.2-bin-hadoop2.6.tgz

进入conf文件目录重命名spark-env.sh

cd ./conf/

mv spark-env.sh.template spark-env.sh

修改配置 spark-env.sh在其中添加环境变量

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el6_10.x86_64
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077

进入conf 重命名slaves.template

mv ./slaves.tmplate slaves

在修改好的slaves 添加 worker节点

hadoop1

hadoop2

hadoop3

将配置 分发给其他节点

scp -r ./spark-1.6.2 hadoop2:/home/hadoop

scp -r ./spark-1.6.2 hadoop3:/home/hadoop

启动工作集群

./sbin/start-all.sh

启动联机版 shell

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值