spark的安装详细步骤

1.下载spark地址
http://spark.apache.org/downloads.html
2.把下载好的压缩包拖拽到虚拟机的software（自己建的）目录下
3.进入到software目录里面把压缩包解压到 /opt 目录下

cd /software
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/

4.进入opt目录里面将安装好的spark改名

cd /opt
mv spark-2.4.5-bin-hadoop2.6 spark245

5.目录切换到/opt/spark245/conf 文件夹下面：cd /opt/spark245/conf

6.复制spark-env.sh.template 改名为spark-env.sh 到conf目录下：cp spark-env.sh.template spark-env.sh
7.编辑spark-env.sh 文件 添加一下内容

export JAVA_HOME=/opt/jdk1.8.0_221
export SCALA_HOME=/opt/scala211
export SPARK_HOME=/opt/spark245
export SPARK_MASTER_IP=hadoop
export SPARK_EXECUTOR_MEMORY=1G

SPARK_DRIVER_MEMORY
该参数设置的是DRIVER分配的内存的大小。也就是执行start-thriftserver.sh机器上分配给thriftserver的内存大小。
如果不是单机的需要配置下slaves.template

8.配置环境变量

export SPARK_HOME=/opt/spark245
export PATH=$PATH:$SPARK_HOME/bin

9.source /etc/profile
10.输入：spark-shell