Spark在大多数情况下适合Scala连在一起的,因此我们在安装Spark之前不妨先安装Scala
1.安装配置Scala
tar -zxvf scala-2.13.5.tgz -C /usr/scala
配置环境变量
# 打开profile文件
vi /etc/profile
# 配置变量
export SCALA_HOME= /usr/scala/scala-2.13.5
export PATH=$PATH:$SCALA_HOME/bin
让变量生效
source /etc/profile
测试
2.安装配置Spark
解压到指定目录
tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz -C /usr/spark
配置环境变量
#打开profile文件
vi /etc/profile
export SPARK_HOME=/usr/spark/spark-3.1.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
让变量生效
source /etc/profile
测试
启动spark
./bin/spark-shell
尝试访问spark UI
3.尝试spark自带案例
进入到spark/bin
./run-example org.apache.spark.examples.SparkPi
成功运行计算出pi