Spark（Local模式）的搭建（python版）

1.1检查环境

安装Java（Java8或JDK1.8以上版本）Ubuntu安装jdk（图文）-CSDN博客

安装HadoopHadoop集群部署（单机、伪分布式、完全分布式）-CSDN博客

1.2下载

Downloads | Apache Spark

1.3解压

cd ~/Downloads
ll
sudo tar -zxf spark-3.5.1-bin-hadoop3.tgz -C /usr/local

cd /usr/local
ll
sudo mv spark-3.5.1-bin-hadoop3 spark
sudo chown -R movie:movie spark # 此处的movie为你的用户名

1.4编辑spark-env.sh文件

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
sudo vim ./conf/spark-env.sh

添加以下配置信息:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop313/bin/hadoop classpath)

1.5编辑配置文件

vim ~/.bashrc

添加以下配置信息:

export SPARK_HOME=/usr/local/spark export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip:$PYTHONPATH export PYSPARK_PYTHON=python3 export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

py4j-0.10.9.7-src.zip具体与/usr/local/spark/python/lib目录下的文件保持版本一致

配置文件中必须包含JAVA_HOME,HADOOP_HOME,SPARK_HOME,PYTHONPATH,PYSPARK_PYTHON,PATH这些环境变量。如果已经设置了这些变量则不需要重新添加设置。

使配置文件生效：

source ~/.bashrc

1.6验证

通过运行Spark自带的示例，验证Spark是否安装成功。

cd /usr/local/spark
run-example SparkPi

通过 grep 命令进行过滤，得到π 的 5 位小数近似值

run-example SparkPi 2>&1 | grep "Pi is"

假设此时不需要用到HDFS可直接使用pyspark命令启动使用Spark，若需用到HDFS要先启动Hadoop

现在可以在里面输入python代码进行调试了

使用exit（）或Ctrl+D退出