Scala-2.11和Spark-2.3.3的安装

安装环境：

centos7

hadoop-2.7.3

scala-2.11         master,node1,node2,node3

spark-2.3.3       master,node1,node2,node3

 

安装Scala-2.11

1.下载并解压

tar -zxvf scala-2.11.8.tgz -C scala-2.11/

 

2.配置环境变量

#set scala environment
export SCALA_HOME=/home/hadoop/scala-2.11
export PATH=$PATH:$SCALA_HOME/bin

更新环境变量

source /etc/profile

 

3.将Scala发送给其它节点

scp -r /home/hadoop/scala-2.11 root@node1:/home/hadoop/

scp -r /home/hadoop/scala-2.11 root@node2:/home/hadoop/

scp -r /home/hadoop/scala-2.11 root@node3:/home/hadoop/

设置并更新其它节点的环境变量即可

 

 

安装Spark-2.3.3

1.下载并解压

tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C spark-2.3.3/

 

2.设置环境变量

#set spark environment
export SPARK_HOME=/home/hadoop/spark-2.3.3
export PATH=$PATH:$SPARK_HOME/bin 

更新环境变量 source /etc/profile

 

3.修改配置文件

复制配置文件模板并重命名

cd /home/hadoop/spark-2.3.3/conf

cp spark-env.sh.template spark-env.sh

配置spark-env.sh

# 配置jdk、scala、hadoop、ip、master等信息，SPARK_MASTER_IP和SPARK_MASTER_HOST是配置master服务
# 器域名，SPARK_LOCAL_IP为对应spark节点的IP地址

export JAVA_HOME=/home/java/jdk1.8
export SCALA_HOME=/home/hadoop/scala-2.11
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_MASTER_HOST=master
export SPARK_LOCAL_IP=192.168.159.101
export SPARK_WORKER_MEMORY=1g
export SPARK_HOME=/home/hadoop/spark-2.3.3

配置slaves

vi slaves

node1 
node2 
node3

 

4.发送给其它节点

scp -r /home/hadoop/spark-2.3.3 root@node1:/home/hadoop/

scp -r /home/hadoop/spark-2.3.3 root@node2:/home/hadoop/

scp -r /home/hadoop/spark-2.3.3 root@node3:/home/hadoop/

 

5.修改每台节点上的spark-env.sh配置文件

修改SPARK_LOCAL_IP为每台节点对应的ip地址，例如node1节点ip为192.168.159.102则修改为

export SPARK_LOCAL_IP=192.168.159.102

 

6.开启集群

开启spark集群

./spark-2.3.3/sbin/start-all.sh    //由于hadoop的开启脚本和spark的脚本名字一样，所以必须进入到spark的sbin目录下调用，或者更改spark脚本的名字

查看进程

jps-all.sh       //自己写的脚本，调用所有节点的jps指令，参考https://blog.csdn.net/qq_43605654/article/details/90750663

 

7.通过web端查看

在浏览器访问master:8080

 

8.测试进入spark shell环境

spark-2.3.3/sbin/spark-shell

 

9.关闭集群

关闭spark集群

spark-2.3.3/sbin/stop-all.sh

关闭Hadoop集群

stop-all.sh