ubuntu安装pyspark

1、安装Java 8安装

sudo apt-get update
sudo apt-get install openjdk-8-jdk
java -version

安装成功后，会显示如下画面：

2、安装Scala

wget https://downloads.lightbend.com/scala/2.12.14/scala-2.12.14.tgz
sudo mv scala-2.12.14 scala                   # 重命名 Scala 目录
sudo mv scala /usr/lib/     # 移动后的目录需要按你实际的下载路径

修改环境变量：
sudo vim ~/.bashrc
添加如下：

export SCALA_HOME=/usr/lib/scala
export PATH=${SCALA_HOME}/bin:$PATH

刷新环境变量：

source ~/.bashrc

测试：scala

3、安装 Spark

weget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz
tar -xzvf spark-3.1.2-bin-hadoop2.7.tgz
mv spark-3.1.2-bin-hadoop2.7 spark
sudo mv spark /usr/lib/

在通过编辑bashrc文件将其添加到路径中vim ~/.bashrc :

export SPARK_HOME=/usr/lib/spark
export PATH=${SPARK_HOME}/bin:$PATH

刷新环境变量：

source ~/.bashrc

启动pyspark：

测试一下spark：
运行：/usr/lib/spark/bin/run-example SparkPi 10

们还需要配置个环境。需要降低log4j.properties中 log4j记录器的详细级别

cp /usr/lib/spark/conf/log4j.properties.template /usr/lib/spark/conf/log4j.properties

vim /usr/lib/spark/conf/log4j.properties，修改

将 
log4j.rootCategory=INFO, console  
替换为
log4j.rootCategory=ERROR, console

再次运行：/usr/lib/spark/bin/run-example SparkPi 10，会少很多打印

然后把spark下的pyspark复制到python下：

sudo cp -r /usr/lib/spark/python/pyspark /usr/local/python3/lib/python3.8/site-packages/