Spark 新版本（ spark-3.0.1-bin-hadoop3.2）本地部署步骤

准备工作：下载新版本（建议使用国内镜像站下载，例如清华大学镜像站等）

部署安装步骤如下：

 

1.上传压缩包并解压 ，然后进入spark-3.0.1-bin-hadoop3.2/conf/目录修改配置文件

•   修改 spark-env.sh.template 名 ：mv spark-env.sh.template spark-env.sh
•   修改 slaves.template 名 ：mv slaves.template  slaves     

2.在spark-3.0.1-bin-hadoop3.2/conf/spark-env.sh中配置如下内容:vi spark-env.sh

•   export JAVA_HOME=/opt/apps/jdk1.8.0_141 
• export SPARK_MASTER_HOST=linux01 <!--当前主机名,作为Master-->
• export SPARK_WORKER_CORES =4    <!--当前主机给worker分配的内核数量，以及最大没存分配量，不同配置的机器可以给本机Worker不同的配置-->
• export SPARK_WORKER_MEMORY=2g

3.在spark-3.0.1-bin-hadoop3.2/conf/slaves中配置Worker节点所在主机名内容

   vi slaves 
               linux03
               linux02

4.将配置好的内容分发