系统环境:Centos7
依赖环境:java
spark下载路径:http://mirrors.hust.edu.cn/apache/spark/spark-3.0.1/
我这里下载的 spark 安装包是 spark-3.0.1-bin-hadoop2.7.tgz
安装步骤:
1.将安装包上传到服务器中
2.解压安装包到指定的目录,如/data/
tar zxvf spark-3.0.1-bin-hadoop2.7.tgz -C /data
3.配置环境变量
编辑 /etc/profile文件,在最后一行中添加以下内容:
export SPARK_HOME=/data/spark-3.0.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
保存后,执行 source /etc/profile
4.在shell中执行 pyspark 即可运行spark