安装环境:
centos7
hadoop-2.7.3
scala-2.11 master,node1,node2,node3
spark-2.3.3 master,node1,node2,node3
安装Scala-2.11
1.下载并解压
tar -zxvf scala-2.11.8.tgz -C scala-2.11/
2.配置环境变量
#set scala environment
export SCALA_HOME=/home/hadoop/scala-2.11
export PATH=$PATH:$SCALA_HOME/bin
更新环境变量
source /etc/profile
3.将Scala发送给其它节点
scp -r /home/hadoop/scala-2.11 root@node1:/home/hadoop/
scp -r /home/hadoop/scala-2.11 root@node2:/home/hadoop/
scp -r /home/hadoop/scala-2.11 root@node3:/home/hadoop/
设置并更新其它节点的环境变量即可
安装Spark-2.3.3
1.下载并解压
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C spark-2.3.3/
2.设置环境变量
#set spark environment
export SPARK_HOME=/home/hadoop/spark-2.3.3
export PATH=$PATH:$SPARK_HOME/bin
更新环境变量 source /etc/profile
3.修改配置文件
复制配置文件模板并重命名
cd /home/hadoop/spark-2.3.3/conf
cp spark-env.sh.template spark-env.sh
配置spark-env.sh
# 配置jdk、scala、hadoop、ip、master等信息,SPARK_MASTER_IP和SPARK_MASTER_HOST是配置master服务
# 器域名,SPARK_LOCAL_IP为对应spark节点的IP地址
export JAVA_HOME=/home/java/jdk1.8
export SCALA_HOME=/home/hadoop/scala-2.11
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_MASTER_HOST=master
export SPARK_LOCAL_IP=192.168.159.101
export SPARK_WORKER_MEMORY=1g
export SPARK_HOME=/home/hadoop/spark-2.3.3
配置slaves
vi slaves
node1
node2
node3
4.发送给其它节点
scp -r /home/hadoop/spark-2.3.3 root@node1:/home/hadoop/
scp -r /home/hadoop/spark-2.3.3 root@node2:/home/hadoop/
scp -r /home/hadoop/spark-2.3.3 root@node3:/home/hadoop/
5.修改每台节点上的spark-env.sh配置文件
修改SPARK_LOCAL_IP为每台节点对应的ip地址,例如node1节点ip为192.168.159.102则修改为
export SPARK_LOCAL_IP=192.168.159.102
6.开启集群
开启spark集群
./spark-2.3.3/sbin/start-all.sh //由于hadoop的开启脚本和spark的脚本名字一样,所以必须进入到spark的sbin目录下调用,或者更改spark脚本的名字
查看进程
jps-all.sh //自己写的脚本,调用所有节点的jps指令,参考https://blog.csdn.net/qq_43605654/article/details/90750663
7.通过web端查看
在浏览器访问master:8080
8.测试进入spark shell环境
spark-2.3.3/sbin/spark-shell
9.关闭集群
关闭spark集群
spark-2.3.3/sbin/stop-all.sh
关闭Hadoop集群
stop-all.sh