Linux 安装 pySpark

1、安装Java和Scale。

1.1、Java 参考 Java 安装运行

1.2、Scale安装

1）下载并解压

官网地址：https://www.scala-lang.org/download/

wget https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz
tar -zxvf scala-2.13.1.tgz
mv scala-2.13.1 scala

 

2）配置

vim /etc/profile

SCALA_HOME=/usr/local/scala
PATH=$SCALA_HOME/bin:$PATH

source /etc/profile

3）启动

scala

2、安装Apache Spark

1）下载并解压

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
mv spark-2.4.4-bin-hadoop2.7.tgz spark

官网：https://spark.apache.org/downloads.html 第二张图才是真正的下载地址

 

2）配置

vim /etc/profile

SPARK_HOME=/usr/local/spark
PATH=$SPARK_HOME/bin:$PATH

source /etc/profile

3）运行

未配置运行 ./bin/pyspark   配置运行 pyspark