spark(完全分布式)

1.解压spark-2.4.4-bin-hadoop2.7.tgz包到module

[root@hadoop101 software]# tar -xvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/

2.进入spark的conf里面
重命名:spark文件名:


[root@hadoop101 module]# mv spark-2.4.4-bin-hadoop2.7 spark-2.4.4-hadoop2.7

进入文件里面:

[root@hadoop101 module]# cd spark-2.4.4-hadoop2.7/conf/
[root@hadoop101 conf]# cp slaves.template  slaves
[root@hadoop101 conf]# cp spark-env.sh.template spark-env.sh

3.配置文件
spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_221
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export SPARK_MASTER_IP=192.168.10.101
export SPARK_WORKED_MEMORY=1g
export HADOOP_CONF_DIR=/opt/module/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-2.9.2/bin/hadoop classpath)

slaves(只用写hadoop102和hadoop103)

hadoop102
hadoop103

6.配置环境变量

vi ~/.bash_profile

内容如下:(添加spark_home环境变量)

export PATH
JAVA_HOME=/opt/module/jdk1.8.0_221
HADOOP_HOME=/opt/module/hadoop-2.9.2
SPARK_HOME=/opt/module/spark-2.4.4-hadoop2.7
HIVE_HOME=/opt/module/apache-hive-2.3.6-bin
export HBASE_HOME=/opt/module/hbase-0.98.17-hadoop2
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$ZK_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SPARK_HOME/bin
export PATH JAVA_HOME  HIVE_HOME CLASSPATH HADOOP_HOME ZK_HOME SPARK_HOME
ZK_HOME=/opt/module/zookeeper-3.4.7

7.scp到另外两个节点上面

[root@hadoop101 module]# scp -r spark-2.4.4-hadoop2.7 root@hadoop102:/opt/module/
[root@hadoop101 module]# scp -r spark-2.4.4-hadoop2.7 root@hadoop103:/opt/module/

8.进入spark的sbin目录下面/opt/module/spark-2.4.4-hadoop2.7/sbin

[root@hadoop101 sbin]# ./start-all.sh

hadoop101里面
在这里插入图片描述
hadoop102里面
在这里插入图片描述hadoop103里面
在这里插入图片描述成功登录:192.168.10.101:8080
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值