scala+spark

1、将Scala安装包上传到syh1虚拟机/etc/packages
   
2、进入该目录
    cd /opt/packages

3、解压到/opt/programs
    tar -zxvf scala-2.11.8.tar -C /opt/programs
    
4、修改文件/etc/profile (3个节点)
    vim /etc/profile
        末尾添加：
            export SCALA_HOME=/opt/programs/scala-2.11.8
            export PATH=$PATH:$SCALA_HOME/bin

5、刷新profile  (3个节点)
    source /etc/profile
    
6、将scala安装复制到syh1和syh2节点
    scp -r /opt/programs/scala-2.11.8 root@syh2:/opt/programs/
    scp -r /opt/programs/scala-2.11.8 root@syh3:/opt/programs/

7、将spark包上传到/opt/programs
    winSCP

8、切换目录，解压到/opt/programs/
    cd /opt/packages
    tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/programs
    
9、进入conf文件夹。将spark-env.template复制一份spark-env.sh
    cd /opt/programs/spark-2.3.3-bin-hadoop2.7/conf
    cp spark-env.sh.template spark-env.sh

10、修改spark-env.sh，文件末尾添加以下内容
    vim spark-env.sh
        export JAVA_HOME=/opt/programs/jdk1.8.0_211
        export SCALA_HOME=/opt/programs/scala-2.11.8
        export HADOOP_HOME=/opt/programs/hadoop-2.7.7
        export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
        export SPARK_MASTER_HOST=syh1
    
11、将slaves.template文件复制一份为slaves
    cp slaves.template slaves
    
12、修改slaves,改内容
    vim slaves    
        syh2
        syh3

13、将syh1节点Spark复制到syh2,syh3节点
    scp -r /opt/programs/spark-2.3.3-bin-hadoop2.7 root@syh2:/opt/programs/
    scp -r /opt/programs/spark-2.3.3-bin-hadoop2.7 root@syh3:/opt/programs/

14、启动Spark集群
    sbin/start-all.sh