Spark安装配置（单机模式）

安装步骤

• 第一步：解压spark压缩包：tar -zxvf spark-2.4.5-bin-hadoop2.6 -C /opt
• 第二步：配置/etc/profile

export SPARK_HOME=/spark所在路径
export PATH=$PATH:$SPARK_HOME/bin
//配置完后需要source /etc/profile

• 第三步：复制一份spark路径/conf目录下的spark-env-sh.template到当前目录下并修改名为spark-env-sh
• 第四步：修改配置上一步复制文件spark-env-sh，在最后添加下面的配置信息

export JAVA_HOME=/opt/jdk		--配置jdk
export SCALA_HOME=/opt/scala	--配置scala（需要自己提前装好）
export SPARK_HOME=/opt/spark	--配置spark
export SPARK_MASTER_IP=主机名	--配置主机名
export SPARK_EXECUTOR_MEMORY=1G	--配置executor的内存空间

• 第五步：启动sparkspark shell