Spark在分布式环境中的安装

Spark在分布式环境中的安装

使用的Spark的版本是2.2.2，最新的版本应该2.4.4。

下载地址：https://archive.apache.org/dist/spark/spark-2.2.2/

提供的安装包：

spark-2.2.2.tgz ---->源码包

spark-2.2.2-bin-hadoop2.7.tgz ---->安装包

链接：https://pan.baidu.com/s/12N_TEesrGxYrBVYeh469Kg 
提取码：igk6
链接：https://pan.baidu.com/s/1FH9nqP02ccvSsdqhiDNk5g 
提取码：djy2 
复制这段内容后打开百度网盘手机App，操作更方便哦

1.安装 scala

1.1上传

put e:/soft/scala-2.11.8.tgz 本地scala安装包路径

1.2解压

tar -zxvf scala-2.11.8.tgz -C /home/hadoop/apps/

1.3重命名

mv scala-2.11.8 scala

1.4添加环境变量

在当前用户的环境变量配置文件中添加环境变量

vi ~/.bash_profile

添加如下内容

export SCALA_HOME=/home/bigdata/app/scala
export PATH=$PATH:$SCALA_HOME/bin

1.5配置文件生效

source ~/.bash_profile

1.6验证

scala -version 

2.安装Spark

2.1上传

put c:/spark-2.2.2-bin-hadoop2.7 上传本地spark的安装包

2.2重命名

mv spark-2.2.2-bin-hadoop2.7