Spark环境安装与部署

部署环境

你需要jdk环境，详细操作流程参见以下文章
https://blog.csdn.net/Timber_kito/article/details/117600360
两台CentOS系统，推荐配置内存2GB以上

一、从spark官方获取spark安装包

本案例使用spark-3.0.1为例

下载地址
https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

1.使用wget 命令获取spark安装包

mkdir /usr/spark
cd /usr/spark
wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

2.使用tar命令解压安装包

tar -zxvf spark-3.0.1-bin-hadoop2.7

二、配置spark环境变量

1.进入spark-3.0.1目录中conf目录下

cd spark-3.0.1-bin-hadoop2.7/conf/

2.将spark-env.sh.template文件重命名为spark-env.sh

mv spark-env.sh.template spark-env.sh

使用vim在文件末尾添加如下变量
export JAVA_HOME=/usr/java/jdk1.8.0_271/
export SPARK_MASTER_HOST=192.168.94.129
export SPARK_MASTER_PORT=7077

注意：JAVA_HOME=为你的jdk路径 SPARK_MASTER_HOST=为你的master主机ip地址

3.将slaves.template文件重命名为slaves

mv slaves.template slaves

4.将localhost改为你的宿主机IP地址

三、配置Workers环境变量

1.启动第二台CentOS，重复以上所有步骤

注意：Workers环境变量与上面配置一样，只要将 SPARK_MASTER_HOST=设置为你的Master主机ip即可（本案例Master主机为192.168.94.129）slaves中的保持不变为localhost

四、启动Spark通过Web UI观察cluster

1.进入spark3.0目录中的sbin目录

cd /usr/spark/spark-3.0.1-bin-hadoop2.7/sbin

2.启动Spark

bash start-all.sh

3.在浏览器中输入master主机ip：8080端口

五、在cluster mode下，计算Pi值

1.在Master主机中调用Spark官方演示程序

cd /usr/spark/spark-3.0.1-bin-hadoop2.7
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.11.128:7077 examples/jars/spark-examples_2.12-3.0.1.jar

2.看到以下输出结果即为成功