Spark集群搭建

前提条件：Hadoop集群搭建成功

一。下载Scala与Spark压缩包

       将下载好的Scala与Spark压缩包上传到虚拟机上

二。解压Scala与Spark压缩包

      tar -zxvf scala压缩包与tar -zxvf spark压缩包

三。配置Scala与Spark环境变量

      如果不是root用户则需要切换到root用户

       vi /etc/profile

      export SACALA_HOME=scala安装包的地址

      export SPARK_HOME=spark安装包的地址

      将$SPARK_HOME/sbin与$SCALA_HOME/bin添加到PATH中

四。修改spark配置文件

      修改spark安装包下的conf目录下的spark-env.sh.template文件，将文件名改为spark-env.sh

      mv spark-env.sh.template spark-env.sh

      往文件中添加

       export SCALA_HOME=scala的安装地址

       export JDK_HOME=jdk的安装地址

       export SPARK_MASTER_IP=192.168.43.170  //此处是spark的主节点所在ip,根据自己情况而变

       export SPARK_MASTER_PORT=7077             //此处是spark默认的端口

 

      修改slaves.template文件，将文件名改为slaves

       mv slaves.template slaves

       添加其余节点的主机名或者ip地址

五。分发spark安装包

       将spark安装包分发到其余节点，其余节点也该把环境变量配好(/etc/profile中)

       scp -r spark安装包 slaves1:spark安装包所放位置，slaves1是主机名

       eg：scp -r ./spark-2.3.2 slaves1:/home/hadoop/app/

                scp -r ./spark-2.3.2 slaves2:/home/hadoop/app/

               。。。。。。。。。。。。。。。。。。。。。

六。启动spark集群

        主节点上启动spark集群 sbin/start-all.sh

        启动成功后主节点会有Master进程，从节点上有Worker进程

七。验证spark集群是否搭建成功

        在浏览器端输入http://主节点主机名:8088进行验证 

                  欢迎转载！转载请注明出处并放置明显位置