Spark安装及配置详细步骤

 

1、解压scala、spark：
     tar -zxvf scala-2.11.8.tgz
     tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz

2、配置环境变量(master、slave1、slave2分别执行)：
     export SCALA_HOME=/usr/local/src/scala-2.11.8
     export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6
     export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
    注：重新加载环境变量：source ~/.bashrc

3、修改spark配置文件(spark-env.sh、slaves)：
     进入spark的conf目录： cd spark-2.4.4-bin-hadoop2.6/conf/ 
     将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves：
      mv spark-env.sh.template spark-env.sh
      mv slaves.template slaves

   配置slaves：命令行输入 vim slaves
   将最后一行localhost改为slave1 、slave2
   
   配置spark-env.sh：
         因