Spark环境搭建之standalone模式安装

Standalone模式: 即构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。

standalone模式安装

spark安装包下载地址官网下载链接
1.上传并解压spark安装包,改文件夹名称，便于使用

[hadoop@hrbu30 ~]$ tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz -C /opt/wdp/
[hadoop@hrbu30 wdp]$ mv spark-2.4.6-bin-hadoop2.7 spark

2.进入spark安装目录下的conf文件夹,修改配置文件名称

[hadoop@hrbu30 wdp]$ cd spark/conf/
[hadoop@hrbu30 conf]$ mv slaves.template slaves
[hadoop@hrbu30 conf]$ mv spark-env.sh.template spark-env.sh

3.修改slaves文件,添加集群中服务器的主机名

[hadoop@hrbu30 conf]$ vi slaves

4.修改spark-env.sh文件

[hadoop@hrbu30 conf]$ vi spark-env.sh

5.修改sbin目录下的spark-config.sh,添加jdk的环境变量（如果不添加，启动spark的时候会报“JAVA_HOME not set” 异常）

6.分发spark包到集群中的每一个节点

[hadoop@hrbu30 wdp]$ xsync spark/

7.启动spark,查看进程，这样spark的standlone模式就安装完了

[hadoop@hrbu30 spark]$ sbin/start-all.sh
[hadoop@hrbu30 spark]$ xcall jps