Saprk运行环境配置

掌握Spark运行环境

掌握Spark运行环境的搭建

掌握运行环境的验证

1.在官网下载所需要的安装包，spark-3.1.1-bin-hadoop2.7，scala-2.13.6，然后导入到linux操作系统中的相应位置中，然后开始解压。

tar -zxvf spark

tar -zxvf scala

2.解压完毕后开始修改profile（将下列信息填入profile配置文件中）

vim /etc/profile

SCALA_HOME=/hadoop/software/scala-2.13.6
SPARK_HOME=/hadoop/software/spark-3.1.2-bin-hadoop2.7/sbin
export  PATH=$JAVA_HOME:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HBASE_HOME:$PATH
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH:$SCALA_HOME/bin:$PATH

3.修改spark配置文件

（1）复制文件并重新命名

cp spark-env.sh.template spark-env.sh

cp log4j.properties.template log4j.properties

（2）修改slaves

export JAVA_HOME=/hadoop/software/jdk1.8.0_231
export SCALA_HOME=/hadoop/software/spark/scala-2.13.6
export HADOOP_HOME=/hadoop/software/hadoop-2.7.1
export SPARK_MASTER_IP=192.168.116.134
export SPARK_WORKER_MEMORY=1024m
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

4.启动spark验证完整性

./start-all.sh