【Python配置PySpark和安装Spark环境】

1.租用Autodl

        前往Autodl官网(AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL)租用CPU服务器，打开Jupyter Lab服务器地址，进入到Jupyter界面。

2.安装Jdk环境

        Spark是基于Java开发的，因此需要使用java环境，在Autodl服务器上面，直接使用apt install命令即可安装OpenJDK。

sudo apt update
sudo apt upgrade
sudo apt-get install openjdk-8-jdk
#sudo apt install openjdk-17-jdk

3.使用pip命令安装PySpark

pip install pyspark

4.完成安装并验证

pyspark